Il naît en 1904 d'une famille moyenne catholique du sud de la France. Il fait de brillantes études, entre à l'École normale supérieure de la rue d'Ulm et obtient l'agrégation d'histoire en 1929, classé deuxième derrière Alphonse Dupront. Il entre ensuite à l'École française de Rome, où il travaille sur saint Augustin.

Admirateur de Teilhard de Chardin et de Charles Péguy, il rencontre Emmanuel Mounier, avec qui il collaborera à la revue Esprit à partir de 1935. Il est également le fondateur des Études augustiniennes. Il voyage ensuite en Italie (Naples) et en Égypte (Le Caire) avant d'enseigner à Nancy, puis Montpellier. Il obtient en 1937 sa thèse sur Saint Augustin et la fin de la culture antique. Amateur de musique, il deviendra membre de l'Académie Charles-Cros et signe dans Esprit, sous le pseudonyme de « Henri Davenson », des articles et des livres de musicologie, mais aussi des articles engagés qui seront rassemblés en 1978 sous le titre Crise de notre temps et réflexion chrétienne (de 1930 à 1975).

Pendant la Seconde Guerre mondiale, il s'engage dans la Résistance. De 1945 à 1975, il occupe la chaire d’histoire du christianisme à la Sorbonne, et rédige ses œuvres les plus importantes. Il est l'un des premiers collaborateurs de la collection Sources chrétiennes, éditant des textes des Pères de l'Église. Pendant la guerre d'Algérie, il dénonce l'usage de la torture, ce qui lui vaut une perquisition. Il approuve vivement Vatican II, combattant à la fois les intégristes et les progressistes influencés par le marxisme. Il se montre méfiant à l'égard de Mai 68.

Ses livres sur la culture intellectuelle et religieuse de l'Antiquité tardive, ses travaux sur les Pères de l'Église, particulièrement sur saint Augustin, ses réflexions sur la « connaissance historique » et la « Théologie de l'histoire », lui valurent une réputation internationale et lui attirèrent de nombreux disciples.

Il fut un ami de Marcel