Le narrateur, qui n'est jamais nommé (mais on peut déduire qu'il s'appelle Jacques étant donné que c'est une auto-biographie), se lie d'amitié avec un jeune homme d'origine juive, David Silbermann, élève dans le même lycée parisien. À la vue des brimades dont Silbermann est la victime de la part des autres élèves et de certains professeurs, il va jusqu'à lui faire un serment d'amitié exalté, où il retrouve sans peine le sens du sacrifice et de l'abnégation que lui a transmis sa famille protestante.

En affichant sa solidarité avec Silbermann, le narrateur se voit frappé d'ostracisme. Mais il admire la supériorité intellectuelle de son ami et apprend grâce à lui à apprécier l'art et la poésie. Silbermann a peu d'estime pour le métier d'antiquaire de son père, et se rêve un destin littéraire. Il confie au narrateur son ambition de s'approprier l'histoire et la littérature françaises de la manière la plus intime. C'est un esprit brillant, inquiet et volubile. Mais la persécution dont il fait l'objet va en s'aggravant lorsque, suite aux pressions d'un journal antisémite, le père de Silbermann est mis en cause dans une affaire de vol. Le hasard veut que l'affaire soit confiée au père du narrateur, juge d'instruction à Paris.

Les avanies s'accumulent jusqu'à ce que Silbermann, dégoûté, décide de tourner le dos à la France et à ses ambitions littéraires pour s'exiler en Amérique. Il s'associera aux affaires de son oncle, qui travaille comme marchand de pierres précieuses à New York. Pour se consoler, Silbermann invoque avec un orgueil blessé la ténacité dont le peuple juif a fait preuve au cours de son histoire. Quant à lui, le narrateur découvre avec étonnement l'hypocrisie qui règne au sein de sa propre famille et doit reconnaître que son idéal de pureté morale exige de renoncer au bonheur simple des esprits