Els Cartellà són esmentats en diferents documents del segle XII. L'any 1107, Arnau de Cartellà, segons F. Montsalvatge, signà com a testimoni dels capítols matrimonials realitzats entre el comte de Besalú i la filla de Ramon Berenguer III de Barcelona. No és però fins l'any 1238 que trobem la primera referència del castell. En aquesta data es produí la institució d'un sacerdot a la capella de Santa Maria del castell de Cartellà, realitzada per Galceran de Cartellà i la seva muller Agnès, i fou dotat amb diverses rendes provinents dels termes de Sant Gregori, Cartellà, Ginestar i Canet d'Adri.