Il est né le 13 novembre 1913, à Mondovi, département de Constantine, en Algérie, alors colonie française, dans un milieu très modeste. Son père, Lucien, caviste dans une exploitation vinicole, fut blessé en 1914 à la bataille de la Marne et mourut à Saint-Brieuc, «le crâne ouvert. Aveugle et agonisant pendant une semaine... Il était mort au champ d'honneur, comme on dit» (“L’envers et l’endroit”) ; il ne le «connut» donc qu'en photographie. Venue s’installer à Alger, dans le quartier populaire de Belcourt, sa mère, Catherine Sintes, qui était d'origine espagnole, qui ne savait ni lire ni écrire, qui parlait peu, faisait des ménages pour vivre. Avec son frère et le reste de sa famille, ils vivaient à six parfois sept, dans un trois-pièces sans eau ni électricité : «Je n'ai pas appris la liberté dans Marx. Il est vrai : je l'ai apprise dans la misère» (“Actuelles I”). Mais le jeune Albert était un amoureux du soleil et de la mer : «J’ai grandi dans la mer et la pauvreté m'a été fastueuse. Puis j'ai perdu la mer, tous les luxes alors m'ont paru gris, la misère intolérable». Jusqu'à dix-sept ans, il joua au football, étant gardien de but de l'équipe, «tant aimée», du “Racing universitaire d'Alger” ; il allait écrire : « Ce que je sais de plus sûr à propos de la morale et de ses obligations, c’est au football que je le dois. » ; il confia plus tard que, si sa santé le lui avait permis, il eût choisi de devenir footballeur, mais il contracta dès 1930 la tuberculose. Encouragé par un oncle boucher passionné de littérature, il lut beaucoup, surtout Dostoïevski. Il était allé à l’école communale à Belcourt, puis eut la chance d'obtenir, grâce à son instituteur, Louis Germain (à qui il dédia les “Discours de Suède”, au lendemain du Nobel) une bourse pour étudier au Grand Lycée d'Alger. Puis, tout en exerçant divers métiers (commerce, courtage maritime, banque) pour gagner sa vie, il entama, à la faculté des lettres d’Alger, des études de philosophie sous la direction