Formé à Valenciennes, il passe par toutes les équipes de jeunes avant d'être évincé en raison de son petit gabarit. Malgré sa taille jugée parfois insuffisante (1,76 m), il s'impose finalement au plus haut niveau à l'AS Saint-Etienne.
Il est connu pour ses excentricités et notamment pour ses tenues portées lors de la saison 2004-2005 (il se vêtit en Spiderman contre Istres). Son sens du spectacle ressort dans son jeu avec des parades spectaculaires. Jérémie Janot est l'un des joueurs préférés des supporters stéphanois[réf. nécessaire].
Il détient le record d'invincibilité à domicile en Ligue 1 avec 1534 minutes. Sa série commence le 6 novembre 2004 et s'achève le 21 septembre 2005. Lors de la saison 2006-2007, alors que les Verts sont menés 2 à 1 face au FC Nantes, Janot déserte son but à la 93e minute sur un corner stéphanois et réalise une talonnade pour Vincent Hognon qui marque.
Durant la saison 2007-2008, il se blesse à la 22ème journée, laissant Jody Viviani titulaire. Dès lors, il ne retrouve plus sa place. Il commence la saison 2008-2009 en tant que remplaçant. Le 24 septembre, en Coupe de la Ligue, il est titularisé face à Guingamp et encaisse quatre buts au cours du match. À la suite des mauvais résultats de son équipe, il retrouve finalement sa place de titulaire en championnat lors de la 12ème journée de ligue 1 face à l'Olympique de Marseille. Il conserve sa place de titulaire suite au limogeage de Laurent Roussey et la nomination au poste d'entraîneur d'Alain Perrin.
Le 5 avril 2009, il joue son 300ème match sous les couleurs vertes, toutes compétitions confondues, lors de la défaite 3-0 à domicile face à l'Olympique de Marseille.
Il dispose de plusieurs surnoms tels « le miracle » ou « capitaine folley »[réf. nécessaire]. Son agent est Jean-Marie Cantona[réf.