Sant Baldiri de Taballera es troba situat a la vall del torrent de la Galera, a 3 km al sud-est de la vila del Port de la Selva i menys de 2 km a migdia de la costa del Golfet, on hi ha la cala de Taballera i les de Galera i Talabre, en plena península del Cap de Creus. El seu emplaçament és característic del poblament medieval proper a la costa, ja que malgrat aquesta proximitat, és ben amagat del mar i els seus perills.

L'església de Sant Baldiri és documentada des de la primera meitat del segle X com a possessió del monestir de Sant Pere de Rodes i situada dintre el seu territori jurisdiccional. La primera referència que en tenim és el precepte del rei Lluís II el d'Ultramar, de l'any 948, a favor de dit monestir i el seu abat Hildesind. Entre altres drets i dominis, hi és confirmada l'església de "Sancti Bauderii sitam in comitatu Petraletensi cum adjacentiis sibi jure pertinentibus". A l'any 974, surt esmentada en una donació feta a Sant Pere de Rodes pel comte Gausfred d'Empúries-Rosselló i el seu fill Sunyer, bisbe d'Elna, com una de les esglésies situades dins el seu territori, anomenades eclesias eremitanas, on textualment diu: "... ex quibus ecclesiis est una fundata in valle Tabellaria seu valle Segalaria in honore sancti Baudilii martyris Christi seu titulo sancti Iohannis".