L'auteur a peu de souvenirs finalement de sa propre jeunesse, comme si sa mémoire avait effacé une partie de son expérience de façon sélective.
Modiano se souvient de bribes, de certaines choses imprécises, revenant de façon confuse, comme s'il déballait une boîte à souvenirs pleine de vieux papiers, et il va retrouver des photos jaunies, des coupures de journaux d'époque ou alors des lettres abîmées par le temps. Il retrouve aussi des tickets de métro ou des billets de train, lui faisait penser à ses voyages, bien qu'il ne les ait pas tous appréciés.
Il ne reste plus que des éléments matériels qui le rattachent à son passé, à sa jeunesse, le reste est perdu dans sa mémoire, qu'il préfère oublier visiblement.
L'auteur part de ces éléments matériels épars et divers pour rendre une certaine logique à son enfance, à cette période oubliée, comme pour rassembler les pièces d'un puzzle défait par le temps. Modiano raconte ses années d'études au collège, le collège de Jouy-en-Josas avec son frère Rudy, (qui décèdera), puis à Thônes en Haute-Savoie et finalement au lycée Henri IV où il sera interne bien que se situant à Paris non loin