El Castell de Brunyola fou construït al cim del turó on ara hi ha el poble, que s'edificà al voltant de la fortificació. El que resta del castell de l'Alta Edat Mitjana està incorporat en el que queda del castell dels darrers segles medievals.
L'any 1106 el comte Ramon Berenguer III de Barcelona donà al vescompte Guerau Ponç de Girona, com a alou, el castell de Brunyola (Castrum quod dicitur Bruniola), el de Torcafeló i li lliurà el castell de Barrés a Osona. L'any 1116, el vescomte Guerau Ponç el va empenyorar a Pere Ramon de Vilademany per 400 morabatins, quin honor incloïa masos, masadas i llauraons o coromines i emprius, serveis i esplets que en depenien. Tot això restava inclòs entre el riu Onyar i el puig de Gironella. No obstant aquest empenyorament, Pere Ramon de Vilademany havia de concedir la potestat per aquest castell, si el comte així li ho demanava. De fet segons Enric C. Girbal, a partir d'aquest moment, el senyor eminent del castell fou el vescomte de Cabrera. Per sota seu, el senyor de Vilademany el tenia en feu i en algun moment encara el tingué subinfeudat als Balenyà.
L'any 1279, Ramon de Cabrera i la seva muller vengueren a Berenguer de Gornal, ciutadà de Girona, com a alou franc, el castell de Brunyola, i tots els drets que tenia, per raó de la possessió d'aquest castell, a les parròquies de Sant Martí Sapresa, de Sant Dalmai, de Santa Maria de Salitja i de Sant Andreu d'Estanyol. Segons Pere Català, aquesta venda en realitat només fou feta per a amagar un préstec, ja que fou novament venut, aquest cop definitivament, l'any 1282 a Guillem Gaufred, clergue de la seu de Girona. Malgrat això, la castlania restà en mans dels Vilademany. En morir Guillem Gaufred, vers l'any 1292, el castell passà a dependre de l'Almoina del Pa de la Seu de Girona.
L'any 1427, el castell restà molt afectat pels terratrèmols i calgué fer-hi obres. Com diu un informe publicat per Montsalvatge, "la principal torra del castell de Brunyola fou e romàs fesa en diversas parts e desloquatd de lur citi alscuns, e los sostres de les cases luyats e ceparats de les parets foranes". S'hi treballà durant trenta-set dies apuntalant la paret de la sala que donava al cementiri, omplint les esquerdes de la torre, posant teules i refent els merlets. En un inventari fet l'any 1532, s'esmenten encara "lo celler", "la cambra del batlle", "la cambra nova al costat de la presó", "la altre cambra nova o graner", "lo menjador o sala baix del primer sostre", "la cuyna", "la sala de mont" i "la torre mestra".
Informació extreta de "Catalunya Romànica, Vol. V"
© Portal Gironí d'Història i Genealogia (www.portalgironi.cat)