Construit en 1489 par François de Caumont, seigneur de Castelnaud, à l'initiative de son épouse Claude de Cardaillac, ce château Renaissance sera restauré par Charles Claverie à la fin du XIXème siècle lui donnant une légère touche Gothique. En 1947, le château est racheté par la célebre meneuse de revue de cabaret Joséphine Baker qui repense entièrement la décoration intérieure, mélant le style Renaissance originale au style Art-Déco comtemporain.

De ses jardins en terrasses, arborés de magnolias, le château jouit d'un large panorama sur la vallée de la Dordogne.