Dès le XI^e siècle il existait une place forte gardant le passage de la rivière locale, le Cosson. A la fin du XVI^e la famille de Saint-Nectaire construisit à cet emplacement le "petit château ".
Au XVII^e siècle, le "grand château" fut reconstruit à la place du précédent, dont ne subsiste que la partie nord, plus basse ; les deux longs bâtiments des communs et l'entrée monumentale furent érigés entre 1625 et 1670. Il s'agirait de l'œuvre de Théodore Lefèbvre d'Orléans, "architecte ordinaire du duc d'Orléans".
La construction s'accompagne dès 1630 de l'aménagement des abords et, au début du XVIII^e, de la balustrade en pierre des côtés est et ouest.
Le propriétaire du domaine est alors Henri II de Senectere, maréchal, duc et pair du royaume.
Le domaine fut vendu en 1822 à François Victor Masséna, duc de Rivoli et fils du maréchal d'Empire, qui le vendit à nouveau en 1864 et dispersa les terres.

Actuellement propriété privée, le château, les écuries et le parc sont accessibles au public une grande partie de l'année. La demeure toute entourée de douves, construite en briques roses et en pierre d'Apremont dégage un charme certain; elle constitue un des fleurons du patrimoine solognot.
Dans les greniers mis à sa disposition, l'association fertésienne pour la conservation du patrimoine (ACSPF) expose des collections d'objets et d'outils provenant de l'industrie et de l'artisanat local; elle y propose également une constitution d'une ancienne épicerie fertésienne.