El Castell de Sant Gregori o Casal dels Margarit, és una Casa Forta d'estil gòtic, construïda entre els segles XV i XVII, de planta quadrangular amb un pati interior i una antiga torre de defensa, situada a l'angle sud de la construcció. Es desenvolupa en planta baixa, pis i golfes. Les parets portants són de pedra morterada, arrebossada a les façanes i amb carreus ben tallats emmarcant les obertures i les cantonades de les façanes. A la façana principal (sud) els ampits de les finestres són fets amb pedra motllurada i la porta d'accés té forma d'arc de mig punt i emmarcada per dovelles de pedra. A la façana de llevant hi ha una finestra biforada amb arquets trilobats protegida per una reixa de ferro. A la part superior de la façana principal en conserven restes de mènsules de pedra. La coberta és de teula àrab a diversos pendents i acabada amb un ràfec de doble filera de rajoles pintades.
Els Margarit de Sant Gregori eren originaris de Girona i provenien d'una posició social mitjana. El primer personatge conegut fou Bernat Margarit de Girona, que tenia una posició econòmica bastant sòlida, i que segons S. Sobrequés havia comprat el Mas Vidal i terres a la parròquia de Sant Gregori. També havia comprat l'any 1355, segons J. Calzada, un altre mas anomenat de Riba o altrament Perpinyà a la mateixa parròquia. Eren senyors directes d'aquestes propietats i tingueren homes propis de remença. Al segle XIV els Margarit de Sant Gregori tenien una bona posició econòmica i títol nobiliari, però no formaven part de l'alta noblesa, sinó que eren cavallers amb dret a usar el seu escut o armes heràldiques. Era membre d'aquesta família Joan de Margarit i de Pau, que fou bisbe de Girona i que morí el 1484. Essent Cardenal a Roma continuà governant la diòcesi de Girona i signava Cardenal de Girona. També exercí d'ambaixador a Itàlia i intervingué a les Corts Catalanes. La seva vinculació al poble de Sant Gregori el portà a fer estades al "Castell" o solar dels Margarit, del qual n'era hereu. També era de la família el bisbe Joan Margarit i Biure, nebot del Cardenal Margarit. Fou bisbe de Girona entre 1534 i 1554.
Informació extreta del web de patrimoni de la Generalitat
© Portal Gironí d'Història i Genealogia (www.portalgironi.cat)