Millet est le fils de Jean Louis Nicolas Millet et de Aimée Henriette Adélaide Henry. Né à Gruchy, hameau de la commune de Gréville, dans la région de la Hague, dans le nord Cotentin, Normandie. Aîné d'une famille nombreuse de paysans, berger dans son enfance et plus tard laboureur, il est élevé dans un environnement éclairé. Notamment grâce à son oncle, curé lettré1, il lit la Bible, mais aussi Montaigne, La Fontaine, Homère et Virgile, Shakespeare et Milton, Chateaubriand et Victor Hugo2.
Il travaille dans la ferme familiale jusqu'à l'âge de 20 ans, puis, doué en dessin, il est envoyé à Cherbourg par son père, grâce à des relations dans la bourgeoisie locale, pour apprendre le métier de peintre auprès de Paul Dumouchel et de Langlois de Chèvreville. A cette époque, ouvre le musée Thomas-Henry, et Millet s'y exerce en copiant les toiles de maîtres et s'initie aux maîtres hollandais et espagnols.
Le conseil municipal de Cherbourg et le conseil général de la Manche lui octroient ensuite une pension pour qu'il puisse continuer son apprentissage à Paris. Il s'y installe en 1837 et étudie à l'école des Beaux-Arts à partir du 27 mars2 dans l'atelier du peintre académique Delaroche. Deux ans plus tard, il est 18e sur 20 au premier essai pour le Prix de Rome le 10 avril, mais échoue au second essai le 18 mai. Il perd alors sa bourse et doit quitter l'école des Beaux-Arts.
Il revient à Cherbourg où il vit de la vente de quelques portraits de proches et de bourgeois, ainsi que de peintures érotiques1. Son portrait de l'ancien maire de Cherbourg, le colonel Javain, est refusé par le conseil municipal. Il se marie en 1841 à Pauline Ono, fille de tailleur, qui meurt 3 ans plus tard d'une tuberculose.
De retour à Paris, il se détourne du modèle officiel à la mode après 1840, et subit l’influence d’Honoré Daumier. Il expose au Salon à partir de 1842. Il rencontre à Cherbourg Catherine Lemaire, ancienne servante, qu'il épouse en 1853. Elle lui donnera 9 enfants. En 1847, son