Le château de La Ferté-Bernard n'est pas resté dans les mémoires. Démantelé en partie en 1392 sur ordre du roi Charles VI, il est confié à son frère, Louis Ier, duc d'Orléans. C'est à lui que les historiens attribuent les reconstructions partielles du logis et de la chapelle Saint-Lyphard. Désaffecté au XVIIIe siècle, le petit édifice est séparé du reste des bâtiments, puis vendu. Il est acquis par la ville, puis classé au titre des Monuments historiques en 1981.
Dans les années 1980, une importante restauration rend vie à la chapelle. On met à jour une petite baie romane dans le mur nord, ce qui permettrait d'avancer l'existence d'une chapelle dès avant le XIVe siècle. En 1392, Louis Ier, duc d'Orléans, fit ajouter un oratoire. La restauration a permis de mettre en valeur les deux arcades de style «première Renaissance italienne» qui séparent cet oratoire de la grande pièce rectangulaire. Enfin, les travaux des années 80 ont embelli le bâtiment avec de très beaux vitraux de l'atelier VitrailFrance. Ces vitraux, conçus comme des pastiches de l'art du vitrail du XVe siècle, sont très réussis. De larges illustrations en sont données dans cette page. Ils rendent hommage à la famille des Bernard, premiers seigneurs de la Ferté, ainsi qu'à ses glorieux successeurs : Louis Ier, duc d'Orléans, assassiné par les rêtres de Jean sans Peur en 1407, et son épouse Valentine Visconti (†1408).
À l'heure actuelle, la chapelle Saint-Lyphard sert de lieu d'expositions.