Son père, Frédéric Rimbaud, capitaine d'infanterie, est né à Dole, le 7 octobre 1814. Sa mère, Marie Catherine Vitalie Cuif, paysanne, est née à Roche, le 10 mars 1825. Ils se sont mariés le 8 février 1853 et habitent un appartement au 12 rue Napoléon2. Le couple n’est réuni qu’au gré de rares permissions, le temps d’avoir cinq enfants cependant : Jean Nicolas Frédéric, le 2 novembre 1853, Jean Nicolas Arthur, le 20 octobre 1854, Victorine Pauline Vitalie, le 4 juin 1857 (elle mourra le mois suivant), Jeanne Rosalie Vitalie, le 15 juin 1858 et Frédérique Marie Isabelle, le 1er juin 1860. Après la naissance de cette dernière, le couple vivra séparé, car, désormais, le capitaine Rimbaud ne reviendra plus à Charleville3.

Se déclarant veuve, la mère déménage avec ses enfants en 1861 pour habiter au 73 rue Bourbon, dans un quartier ouvrier de Charleville. En octobre, le jeune Arthur entame sa scolarité à l'institution Rossat où il récolte les premiers prix.

Figure rigide et soucieuse de respectabilité, vigilante sur l’éducation de ses enfants, Vitalie Rimbaud rend le climat familial étouffant.

Fin 1862, la famille déménage à nouveau pour un quartier bourgeois au 13 cours d’Orléans4.

En 1865, Arthur entre au collège municipal de Charleville, où il se montre excellent élève ; collectionnant les prix d'excellence en littérature, version, thème… Il rédige en latin avec aisance, des poèmes, des élégies, des dialogues. Mais, comme cet extrait de son poème Les Poètes de sept ans5 le laisse imaginer, il bout intérieurement :

Tout le jour il suait d'obéissance ; très
Intelligent ; pourtant des tics noirs, quelques traits,
Semblaient prouver en lui d'âpres hypocrisies.
Dans l'ombre des couloirs aux tentures moisies,
En passant il tirait la langue, les deux poings
À l'aine, et dans ses yeux fermés voyait des points.

En juillet 1869, il participe aux épreuves du Concours académique6 de composition latine sur le thème « Jugurtha », qu'il remporte facilement.