Le 25 novembre 1892, alors que la fédération omnisports française fête son cinquième anniversaire dans le grand amphithéâtre de la Sorbonne à Paris, Pierre de Coubertin appelle à la rénovation des Jeux olympiques.
Deux ans plus tard, le 23 juin 1894, se tint à la Sorbonne le « Congrès pour le rétablissement des Jeux olympiques ». Devant l’absence de réactions à son appel à la rénovation des Jeux olympiques deux ans plus tôt, Pierre de Coubertin parvient alors à convaincre l'Angleterre, les États-Unis, mais aussi la Jamaïque, la Nouvelle-Zélande ou la Suède notamment. Plus de 2 000 personnes représentant douze nations assistent finalement au congrès, qui vote à l’unanimité la rénovation des Jeux olympiques. Une autre décision importante prise à l’occasion de ce congrès est la condamnation des règlements sportifs de certaines fédérations (anglaises notamment) excluant les ouvriers et les artisans au nom d’un élitisme social qui allait à l’encontre des idéaux égalitaires français.
Cinq pays — Australie, France, Grande-Bretagne, Grèce et Suisse — ont envoyé des équipes à chaque jeu olympique. Le seul pays à avoir obtenu au moins une médaille d'or à chaque Jeux est la Grande-Bretagne, entre une médaille d'or en 1904, 1952 et 1996 et cinquante-six médailles d'or en 1908.
En général seules les nations reconnues sont représentées, mais quelques pays dont la légitimité est contestée sont autorisés à participer. Le CIO a demandé par exemple à la République de Chine (Taiwan), à ne pas confondre avec la République populaire de Chine, de participer sous le nom « Chinese Taipei » avec un drapeau qui n'est pas celui de la République