Attiré par la musique, le théâtre et le classique, il entre dans une troupe de comédiens au début des années 1950, compose quelques chansons et joue de la guitare dans un orchestre de jazz. Il passe sans grand succès quelques auditions, fait des apparitions au cabaret sous le nom de Jean Laroche, et, ne se décourageant pas, décide de se consacrer exclusivement à la musique.
En 1956, il met en musique Les yeux d’Elsa, poème de Louis Aragon dont il sera toute sa vie l'admirateur12. C’est André Claveau, alors fort en vogue, qui interprète la chanson et apporte un début de notoriété à Jean, qui se produit au cabaret parisien La Colombe de Michel Valette, en première partie de Guy Béart.

Jean Ferrat (à droite) et son ami Guy Thomas.
En 1958, il sort chez Vogue son premier 45 tours EP, qui ne rencontre guère de succès. Une jeune chanteuse, Christine Sèvres, qu'il rencontre en 1956, reprend quelques-unes de ses chansons. Il l’épouse fin 1960, après 3 ans de concubinage.
C’est la rencontre en 1959 de Gérard Meys, qui devient son éditeur et son ami, qui lance sa carrière. Il signe chez Decca et, l’année suivante, sort son second 45 tours EP avec la chanson Ma Môme, son premier succès, et passe sur toutes les ondes. Pratiquement en même temps, RCA publie un 45 tours EP des 4 chansons qu'il a enregistrées sous le pseudo de Noël Frank, qui n'aura aucun succès13. C'est après avoir vu sur une carte de France la ville de Saint-Jean-Cap-Ferrat, qu'il décide de s'appeler Jean Ferrat14, plutôt qu'encore Jean Laroche (un nom alors utilisé par un autre artiste sur scène).
Une autre rencontre décisive aura lieu avec Alain Goraguer, qui signe ses premiers arrangements sous le pseudonyme de Milton Lewis et qui deviendra l'arrangeur des chansons de tous ses albums.
Le photographe Alain Marouani, rencontré chez Eddie Barclay, suivra Ferrat durant toute sa carrière en signant la très grande majorité de ses photos.
Son premier 33 tours sort en 1961 et reçoit le prix de la SACEM.