Jean-Jacques Waltz est le benjamin d'une famille de quatre enfants, né du mariage de Jacques André Waltz et de Rosalie Clémence Dunan. Les Waltz vivent en Alsace depuis le xviie siècle et on trouve dans leurs ancêtres des boulangers, des chapeliers et des bouchers. Après avoir été tout d'abord boucher comme son propre père, le père de Jean-Jacques Waltz devient bibliothécaire à la bibliothèque municipale de Colmar en 1881 et en 1891 conservateur du musée Unterlinden. Autodidacte, il acquiert une très grande connaissance de l'Alsace et de Colmar, cité typiquement alsacienne, mais de tradition française. C'est lui qui éveille très tôt chez son fils un intérêt pour l'histoire et l'art. Il est affecté par l'annexion qui rompt les liens qu'il entretenait avec la France.
Jean-Jacques Waltz (Hansi) fréquente le lycée impérial depuis 1881. Au lycée, sa cible favorite sont ses professeurs dont certains viennent parfois de régions d'Allemagne très éloignées de l'Alsace pour y enseigner le français. Hansi détestait ses professeurs allemands. Il écrira :
« Quand dans la journée j'avais été brutalisé au lycée boche, quand le professeur d'allemand nous avait enseigné que la langue allemande était la plus belle et la plus ancienne de toutes les langues, quand le professeur d'histoire avait insulté nos pères et tous les Français, en remontant jusqu'au temps de Charlemagne, quand le professeur de français, originaire de Koenigsberg, nous avait prouvé que ni les Français ni les Alsaciens ne savaient leur propre langue et que ce n'est qu'à Koenigsberg que l'on parle le français correctement, quand, à mon retour du lycée, d'où tous les jours je rapportais quelques gifles et quelques heures d'arrêts, j'avais rencontré les officiers insolents battant le pavé de notre ville, les fonctionnaires, laids et arrogants, et que je rentrais chez moi, triste et découragé, alors, pour me consoler, mon père me racontait combien notre petite ville était belle du temps français1. »
Son père le