La légalité se présente comme un rapport entre l'activité administrative et les règles qui régissent cette activité. Il faut donc rechercher quelles sont ces règles que l'administration ne peut pas méconnaître et dont la violation est de nature à entraîner une sanction juridictionnelle (annulation ou réparation par le juge). Ces règles ne sont pas seulement constituées par la loi, mais aussi par d'autres normes telles que la Constitution, les traités internationaux, les actes administratifs généraux (réglementaires) ou individuels, puis encore les décisions de justice. Toutes ces règles ont un point commun: ce sont des règle écrites. À celles-ci, il faut encore ajouter la coutume, la jurisprudence et les principes généraux du droit. Ces sources sont non-écrites.
Cette distinction entre sources écrites et sources non-écrites peut être combinée avec une autre, qui oppose les règles extérieures à l'administration aux règles posées par l'administration elle-même. Ce sont les actes administratifs. Il faut surtout remarquer que les différentes règles qui s'imposent à l'administration forment un ensemble qui révèle une hiérarchie. On a pu employer à propos de la légalité les expressions de bloc de la légalité, ou de pyramide de la légalité, ou encore d'échelle de la légalité. Les différentes règles se situent à des niveaux différents. Elles doivent respecter les règles supérieures et s'imposent aux règles inférieures. Cette graduation est assez complexe. En France, on retient normalement un point de vue formel pour déterminer la place qui revient aux diverses règles dans la hiérarchie en se fondant, notamment et surtout, sur la qualité de l'auteur de l'acte. Les règles constitutionnelles se situent au sommet de la hiérarchie, puis viennent les traités internationaux, les lois ordinaires, puis les différents règlements de l'exécutif, eux-mêmes hiérarchisés d'après la place occupée par l'auteur de l'acte.
On verra que des considérations d'ordre matériel interviennent