« Ces êtres appartenaient à cette classe bâtarde composée de gens grossiers parvenus et de gens intelligents déchus, qui est entre la classe dite moyenne et la classe dite inférieure, et qui combine quelques-uns des défauts de la seconde avec presque tous les vices de la première, sans avoir le généreux élan de l'ouvrier ni l'ordre honnête du bourgeois. C'étaient de ces natures naines qui, si quelque feu sombre les chauffe par hasard, deviennent facilement monstrueuses. Il y avait dans la femme le fond d'une brute et dans l'homme l'étoffe d'un gueux. Tous deux étaient au plus haut degré susceptibles de l'espèce de hideux progrès qui se fait dans le sens du mal. Il existe des âmes écrevisses reculant continuellement vers les ténèbres, rétrogradant dans la vie plutôt qu'elles n'y avancent, employant l'expérience à augmenter leur difformité, empirant sans cesse, et s'empreignant de plus en plus d'une noirceur croissante. Cet homme et cette femme étaient de ces âmes-là. »
— Tome I. Fantine — Livre IV : Confier c'est quelquefois livrer — Chapitre 2. Première esquisse de deux figures louches.
Cette famille occupe un rôle clé dans le roman. En effet, on fait leur connaissance assez vite (en mai 1818 dans le Tome I, Livre IV) lorsque Fantine, la mère de Cosette, passe devant leur auberge « Au sergent de Waterloo » à Montfermeil.
La famille est composée du père (né en 1773 ; en 1833, grâce au don de Marius Pontmercy, il émigrera avec sa fille Azelma aux Amériques où il se fera « négrier »), de la mère (sans doute née entre 1783 et 17891, décédée en 1832 en prison), des deux filles Éponine et Azelma, du petit Gavroche et de deux autres garçons encore plus jeunes (on ignorera toujours leurs prénoms) dont le couple s'est « débarrassé » lors d'une sordide transaction (la mère n'aime que ses filles, d'où son désintérêt pour Gavroche qui se trouve livré à lui-même dans la rue). Le père est un ancien soldat devenu sergent et médaillé à la bataille de Waterloo grâce à la méprise