Het werd in de 12e eeuw gebouwd door de familie Bernard, heren van La Ferté. Aan het einde van de 14e eeuw werd er een prachtig koor gebouwd in opdracht van Louis d'Orléans en Valentijn Visconti.
De stad kocht het in 1980 en restaureerde het tot een tentoonstellingsruimte.