Le fédéralisme se caractérise par deux niveaux de collectivités étatiques : l'Etat fédéral et les Etats fédérés. C'est cette superposition d'ordres juridiques étatiques qui constitue le critère du fédéralisme. Ainsi, les entités fédéres sont de véritable Etats dotés de certains attributs de la souveraineté : elles peuvent, en conséquence, se doter de leur propre constitution, disposent d'un pouvoir exécutif et d'un pouvoir législatif, et possèdent leur propre système juridictionnel.

Le fédéralisme se distingue de la confédération en ce que cette dernière ne fait pas émerger un véritable Etat fédéral. Ainsi, les institutions confédérées sont limitées à un seul organe en commun, la Diète, disposant de pouvoirs très limités. Par ailleurs, alors que dans le cas de la confédération les décisions sont prises à l'unanimité, s'agissant d'un Etat fédéral, les décisions sont prises à la majorité.

Le fédéralisme se distingue aussi de la décentralisation puisque cette dernière ne fait pas apparaitre d'Etat. Les collectivités décentralisées ne disposent, ainsi, pas de leur propre constitution, de leur propore gouvernement ni de leur propre système juridictionnel.

Concrètement, la naissance d'une fédération peut se faire par association, comme par exemple pour les Etats-Unis ou la Suisse; cette hypothèse correspond aux situations ou il s'agit de rapprocher des populations qui ont certains traits en commun. Elle peut aussi résulter d'un dissociation d'un Etat unitaire : dans cette hypothèse, l'Etat accepte la création en-dessous de lui de collectivités dotées du caractère étatique. Ce fut, par exemple, le cas de l'URSSS.

Les relations entre Etats fédéral et Etats fédérés sont marquées par deux exigences contradictoires : autonomie des Etats fédérés et association de ces Etats. En d'autres termes, il s'agit de respecter les caractéristiques de chaque Etat fédéré, tout en assurant leur intégration de manière à pérenniser la fédération. Par exemple, l'autonomie des