Né à Paris le 27 mars 1809 au 55 rue du Faubourg-du-Roule, dans le quartier Beaujon, dans une maison qu'il n'hésita pas à faire démolir, il est le fils de Nicolas-Valentin Haussmann (1787-1876), protestant, commissaire des guerres et intendant militaire de Napoléon Ier et d'Ève-Marie-Henriette-Caroline Dentzel (fille du général et député de la Convention Georges Frédéric Dentzel, baron d'Empire) et le petit-fils de Nicolas Haussmann (1759-1847), député de l'Assemblée Législative et de la Convention, administrateur du département de la Seine-et-Oise, commissaire aux armées.

Il fait ses études au collège Henri-IV et au lycée Condorcet à Paris, puis il entame des études de droit tout en étant au conservatoire de musique de Paris.

Il se marie le 17 octobre 1838 à Bordeaux avec Octavie de Laharpe, protestante comme lui. Ils ont deux filles : Henriette, qui épouse, en 1860, le banquier Camille Dollfus et Valentine, qui épouse en 1865 le vicomte Maurice Pernéty, chef de cabinet du préfet de la Seine, puis, après son divorce, en 1891 Georges Renouard.

Le 21 mai 1831, il est nommé secrétaire général de la préfecture de la Vienne à Poitiers puis sous-préfet d'Yssingeaux, le 15 juin 1832.

Il est successivement sous-préfet du Lot-et-Garonne à Nérac (le 9 octobre 1832), de l'Ariège à Saint-Girons (le 19 février 1840), de la Gironde à Blaye (le 23 novembre 1841), puis préfet du Var à Draguignan (le 24 janvier 1849), et enfin de l'Yonne (15 mai 1850).

Présenté à Napoléon III par Victor de Persigny, ministre de l'Intérieur, il devient préfet de la Seine le 22 juin 1853, succédant ainsi à Jean-Jacques Berger et à Rambuteau. Le 29 juin 1853, l'Empereur lui confie la mission d'assainir et embellir Paris.
La transformation de