Lors de l'élection présidentielle de 1995, il préfère Édouard Balladur21 à Jacques Chirac. Il abandonne ainsi son poste de porte-parole du gouvernement pour devenir porte-parole du candidat Balladur. Celui-ci, longtemps favori dans les sondages, est éliminé dès le premier tour, avec 18,58 % des suffrages. Le 5 mai, lors du dernier meeting de Jacques Chirac avant le second tour, Nicolas Sarkozy est sifflé et hué. À la suite de la victoire du maire de Paris, il n'obtient aucun poste ministériel dans le gouvernement Alain Juppé, bien que ce dernier ait évoqué son nom au président. Au cours d'un bref passage à une réunion nationale du RPR, le 15 octobre 1995, il est à nouveau conspué. Débute alors une « traversée du désert » qui dure jusqu'en 1997.
Pendant l'été 1995, sous le pseudonyme « Mazarin », il publie dans le journal Les Échos une série de lettres intitulées « Les Lettres de mon château » présentées comme la correspondance fictive de Jacques Chirac avec diverses personnalités du monde politique22. Il a attendu 2004 pour reconnaître publiquement qu'il était l'auteur de ces articles23.
Dirigeant du RPR et nouvelle « traversée du désert »La victoire législative de la « gauche plurielle », en 1997, lui permet de devenir secrétaire général du RPR, dont Philippe Séguin est le président.
À la suite de la soudaine démission de Philippe Séguin de la présidence du parti gaulliste, Nicolas Sarkozy le remplace par intérim, d'avril à décembre 1999. Il conduit alors, conjointement avecAlain Madelin, la liste RPR-DL aux élections européennes de 1999. Ce scrutin est marqué par une sévère défaite pour la droite pro-européenne : la liste qu'il dirige arrive en troisième position avec 12,82 % des suffrages, derrière la liste souverainiste menée par Charles Pasqua et Philippe de Villiers (13,05 %) et celle du Parti socialiste (21,95 %).
Il annonce sa démission de sa fonction intérimaire de président du RPR le 14 juin 1999N 4, renonce à toute responsabilité au sein du parti et