Selon certains historiens, la construction du château de Puymartin remonterait au XIIIe siècle. Comme les châteaux de Beynac et de Castelnaud, Puymartin était, à l'époque, à la frontière entre la France et l'Angleterre. Ce qui lui valut de gros déboires au cours de la première période de la guerre de Cent Ans... et de rester en ruines jusqu'au milieu du XVe siècle. Portée par la reprise économique qui suivit le conflit franco-anglais, la bâtisse fut reconstruite et sortit à peu près indemne des guerres de religion, de la Révolution et des querelles familiales. Enfin, au XIXe siècle, une importante restauration fut entreprise.
Signalons que le château est la propriété de la même famille depuis cinq siècles et que, comme souvent dans les châteaux privés, les photographies sont interdites à l'intérieur.