Le château fut le repère du « méchant bossu » plus connu sous le nom de Bernard de Garlan. Celui qui était tantôt seigneur, tantôt brigand, ne laissera le château en échange d’une importante somme d’argent. Pour éviter que Garlan ait des successeurs, les habitants de Saint-Flour incendient le château en 1405.
L'abbaye bénédictine est réputée pour son architecture gothique, sa riche bibliothèque, son atelier des livres liturgiques, sa danse macabre, sa curieuse Salle de l'écho, sa tenture de chœur composée de douze tapisseries flamandes et le tombeau du Pape Clément VI qui a fait reconstruire l’église de 1342 à 1352 afin d’être inhumé au milieu de ses frères moines.
Sur ces châteaux non défensifs les douves étaient sèches. Ces fossés sont appelés « saut de loup » car les loups ne pouvaient pas entrer en effectuant un saut d’où l’expression. Ils servaient également au gibier du domaine de ne pas s’échapper... Ces fossés sont appelés également le « ha-ha » (également haha ou hâ-hâ) car ils étaient peu visibles et donc un visiteur en s’approchant s’exclamait « ha ha » lorsqu’il tombait...
Le seigneur Guillaume de Murol (1350-1440), dut sans doute sa surprenante longévité à son tempérament, peu enclin aux conflits. Sa devise, « Murol en avant, et sans rompre les redortes ». Les redortes désignent les anneaux attachés aux jougs des bœufs pour les diriger. Cela signifierait donc guider avec fermeté, mais aussi avec finesse pour ne pas rompre ces redortes !
Le château a été construit par les frères Pussort, oncles de Colbert, à partir de 1642. Il fut acquis en 1729 par le comte Marc-Pierre Voyer d'Argenson, ministre de la Guerre de Louis XV, ami de Diderot et D’Alembert qui lui dédièrent l'Encyclopédie. Il abrita des hôtes célèbres dont Voltaire.
Anne-Marie Louise d’Orléans, la Grande Mademoiselle cousine germaine de Louis XIV, condamnée à cinq ans d’exil à la suite des événements de la Fronde s’installe à Saint-Fargeau. Elle fait intervenir l’architecte Le Vau sur les façades intérieures du château. Il laisse un des plus beaux exemples de classicisme français.