Né dans le Lot-et-Garonne d'une famille d'enseignants, Jean Nouvel passe sa jeunesse à Sarlat. Alors qu'il souhaite être peintre, ses parents l'orientent vers les études d'architecture. Il s'inscrit en architecture à l'École des beaux-arts de Bordeaux en 1964, et est admis en 1966, premier au concours d'entrée, à l'École nationale supérieure des Beaux-Arts de Paris dont il sort diplômé en 1972.

Influencé par Paul Virilio et Claude Parent, dont il est l'assistant entre 1967 à 1970, il fonde en 1970 sa première agence avec François Seigneur. Architecte de la Biennale de Paris à partir de 1971 grâce à l'appui du critique Georges Boudaille, il fonde la Biennale d'architecture dans ce cadre en 1978.

Il fait ses premières armes dans le Périgord, réalisant une école maternelle à Trélissac et une villa à Champcevinel. Après sa première réalisation marquante, la Maison Dick à Saint-André-les-Vergers en 1976, il signe le Centre médico-chirurgical du Val-Notre-Dame à Bezons (1976) et le Collège Anne-Franck à Antony (1978). Il est choisi en 1981 pour la réalisation du premier des grands travaux mitterrandien, l'Institut du monde arabe, dont la façade à moucharabiehs le fait connaître au grand public. Il réalise ensuite l'immeuble de logements sociaux Nemausus de Nîmes, l'Opéra de Lyon qu'il coiffe d'une grande verrière en 1993, et la Fondation Cartier tout en verre en 1994.

Le Palais de la culture et des congrès de Lucerne, inauguré en 1999, lui permet d'acquérir une dimension internationale. Lui sont alors confiés la Dentsu Tower de Tokyo, l'extension du Musée Reina Sofía, la Tour Agbar et le théâtre Guthrie de Minneapolis. Il reste attaché à la Dordogne, où il réalise le musée gallo-romain de Périgueux, Vesunna, et l'aménagement de l'église Sainte-Marie de Sarlat en marché couvert. Jacques Chirac le choisit pour bâtir le Musée du quai Branly, inauguré le 23 juin 2006.

Militant pour un renouveau de l'architecture en France, il co-fonde le mouvement "Mars