Lors du coup d'État du 2 décembre 1851, Victor Hugo tente d'abord de fuir, puis se constitue prisonnier, mais un commissaire français, flairant le piège, refuse de l'arrêter lui répondant « M. Hugo, je ne vous arrête pas, car je n'arrête que les gens dangereux45 ! ». Il s'exile volontairement46 à Bruxelles, puis à Jersey. Il condamne vigoureusement pour des raisons morales47,note 6 le coup d'État et son auteur Napoléon III dans un pamphlet publié en 1852, Napoléon le petit, ainsi que dans Histoire d'un crime, écrit au lendemain du coup d'État et publié 25 ans plus tard48 et dans Les Châtiments47. Le souvenir douloureux de Léopoldine sa fille – ainsi que sa curiosité – le pousse à tenter des expériences de spiritisme consignées dans Les Tables tournantes de Jersey. Chassé de Jersey en 1855 pour avoir critiqué la reine Victoria, il s'installe à Guernesey dans sa maison Hauteville House. Il fait partie des quelques proscrits qui refusent l'amnistie49 décidée quelque temps après (« Et s'il n'en reste qu'un, je serai celui-là50 »). Ces années difficiles sont très fécondes. Il publiera notamment Les Châtiments (1853), œuvre en vers qui prend pour cible le Second Empire ; Les Contemplations, poésies (1856) ; La Légende des siècles (1859), ainsi que Les Misérables, roman (1862). Il rend hommage au peuple de Guernesey dans son roman Les Travailleurs de la mer (1866).

Hôtel des Colonnes à Waterloo où Victor Hugo résida en mai-juin 186051.
Il reçoit quelques visites du continent, celle de Judith Gautier ou en 1860, celle de Boucher de Perthes52. Le fondateur de la préhistoire le décrit alors comme un « républicain gentilhomme (…), fort bien installé, vivant en père de famille (…), aimé de ses voisins et considéré des habitants.