L'édifice évolue pour devenir un petit château sans fioritures et sans prétention au cours du xviiie siècle. Il appartient alors à Jacques-Jean Le Coulteux du Molay, un riche banquier, qui possède également un manoir à Le Molay-Littry près de Bayeux.
Le château entre dans l'histoire de France durant le Directoire, lorsque Joséphine de Beauharnais, épouse de Napoléon Bonaparte, l'achète le 21 avril 1799, pour la somme de 250 000 francs de l'époque, à Le Couteulx du Molay, sur les conseils de Jean Chanorier. On pense que c'est Ouvrard qui finance cet achat. Bonaparte va le reprendre à son compte après le coup d'État de Brumaire, probablement avec des fonds provenant de la première campagne d'Italie.
Napoléon demande à ses architectes Percier et Fontaine de rénover et redécorer la bâtisse au goût du jour. Le château sera même le cœur du gouvernement français (avec les Tuileries) pendant le Consulat et Napoléon y séjournera régulièrement jusqu’en 1804 avant de choisir le château de Saint-Cloud plus digne de son nouveau rang. Il y viendra cependant jusqu'à son divorce avec Joséphine en 1809.

Cèdre du Liban planté à proximité de la demeure par Joséphine pour son mari Bonaparte en commémoration de la bataille de Marengo
Dès lors, le château devient la demeure principale de Joséphine, qui, après la répudiation va y mener une vie désœuvrée sans Bonaparte. Elle y recevra le Tsar Alexandre Ier de Russie en 1814, la veille de sa mort le 29 mai 1814.
Son fils prince Eugène en hérite, et sa veuve le vend en 1828 au banquier suédois Jonas-Philip Hagerman, l'un des fondateurs du quartier de l'Europe à Paris.
En 1842, la reine Christine d'Espagne (veuve de Ferdinand VII) l'acquiert et en fait sa résidence, et revend le domaine en 1861 à Napoléon III.
Après la guerre de 1870, où l'armée prussienne saccagea l'intérieur, une caserne est installée dans le château.
En 1877, l'État vend le domaine à un marchand de biens qui lotit la majeure partie du parc. Ce dernier le