Construit par les abbés de Sarlat au XIIIème siècle, vers 1269, Puymartin fut donné à la famille des Serviens deux ans plus tard. Tombé aux mains de bandes de mercenaires anglais pendant la guerre de 100 ans, les Consuls de Sarlat vont négocier leur départ contre le paiement d'une forte rançon. Le château sera alors mis hors d'état de servir, privé de ses créneaux, remparts, tours et toitures.

Réhabilité en 1450 par Radulphe de Saint-Clar, le château servira au VXIème siècle de quartier général à Raymond de Saint-Clar, son petit-fils et chef des catholiques du Périgord noir, dans sa lutte victorieuse contre les protestants.

Les siècles suivants, Puymartin bénéficia d'une certaine sérénité jusqu'à la révolution française, où son seigneur, François Roffignac de Carbonnier de Marzac, fut emprisonné et le château laissé à l'abandon.

Ce n'est qu'à la fin du XIXème siècle que le marquis Marc de Carbonnier de Marzac, restaure le château grâce à la dote de sa femme. Il va le modifier dans un style néo-gothique. La fille unique du marquis épousa le Comte Jacques de Montbron, le père du propriétaire actuel, Henri de Montbron.

La légende de "La Dame Blanche" rapporte que Thérèse de Saint-Clar revient hanter le château aux environs de minuit. Celle ci, épouse de Jean de Saint-Clar, seigneur de Puymartin au XVIème siècle, surprise par son époux de retour de guerre dans les bras de son amant, fut emprisonnée là durant 15 ans et fut emmurée dans la pièce même à sa mort.