Tout commence par la rencontre entre le champion du monde des échecs et le narrateur et un de ses compagnons. Les trois personnages sont sur un paquebot de luxe prêt à partir de New York pour Buenos Aires. Le narrateur, passionné par les échecs, est bien décidé à jouer un partie contre le champion Centovich. Après de longues heures ce dernier décide d’accorder une partie au narrateur et à Mac Connor (riche patron écossais ayant rencontré la narrateur sur le bateau) et va même jusqu’à demander à tous les joueurs présents dans le fumoir de se regrouper pour l’affronter. Centovich gagne la première partie sans problème. Mac Connor veut sa revanche. Ils réussissent à accrocher le champion du monde grâce à l’intervention d’un mystérieux personnage nommé monsieur B. Celui-ci raconte que cela fait plus de vingt ans qu’il n’a pas touché à un échiquier mais il ne réussit guère à convaincre. Centovich, impressionné par monsieur B., décide de le défier.

Monsieur B raconte alors au narrateur pourquoi et comment il fut enfermé dans une cellule vide par les Nazis, n’ayant rien pour s’occuper hormis un livre d’échecs. Il explique qu’il y a développé une certaine logique ce qui lui a permis, pendant les interrogatoires, de ne dévoiler aucune information aux Nazis. En même temps ces années passées en prison jusqu’à sa libération ont créé chez lui une sorte de traumatisme et l’ont rendu fou d’une certaine façon.

Le jour du défi arrivé, monsieur B remporte la première partie de la plus belle des manières mais il perd la deuxième. C’est alors qu’il se promet de ne plus jamais toucher un échiquier de sa vie.