Einstein a rencontré un grand nombre de personnalités majeures de son époque, dans les domaines scientifique, politique et artistique, et il a laissé une correspondance très riche. Il entretient par exemple longtemps une relation amicale avec la reine Élisabeth de Belgique, avec qui il joue du violon. Il s’est toujours étonné de sa célébrité et de ses effets.
Sa première épouse, Mileva Maric est atteinte de coxalgie, qui la rend boiteuse. C’est aussi une jeune femme brillante, élève du Polytechnicum. Elle tombe enceinte alors qu’ils ne sont pas encore mariés, et elle accouche chez ses parents en Serbie d’une fille, Lieserl. Einstein se montra très dur avec sa compagne suivante, Elsa. Ils faisaient chambre à part et il lui arrivait de lui interdire son bureau, se faisant presque servir : « Je traitais ma femme comme une employée, mais une employée que je ne pouvais pas congédier[réf. nécessaire]. »
Il voit peu son fils Hans-Albert qui, à l’âge adulte, travaille en Californie. La santé mentale de son autre fils, Eduard, se détériore brutalement alors qu’il est âgé de vingt ans, et il doit être interné une première fois à Zurich en 1930. Son père lui rend une dernière visite en 1933. D’abord critique envers la psychanalyse, il refuse que son fils Eduard suive un nouveau traitement psychanalytique[réf. nécessaire], mais il finit par accepter l’essentiel des idées de Sigmund Freud. En 1933, il choisit Sigmund Freud pour publier un échange de lettres intitulé Pourquoi la guerre