Le château a été construit par les frères Pussort, oncles de Colbert, à partir de 1642. Il fut acquis en 1729 par le comte Marc-Pierre Voyer d'Argenson, ministre de la Guerre de Louis XV, ami de Diderot et D’Alembert qui lui dédièrent l'Encyclopédie. Il abrita des hôtes célèbres dont Voltaire.