L'expression de service public est très ancienne. En effet, sous l'Ancien Régime il en était déjà question. Cependant, la notion même de service public apparaît assez tardivement. L'importance de cette notion est limitée par rapport aux périodes qui suivront.
Le service public apparaît avec l'arrêt Blanco rendu le 8 février 1873, l'intérêt général est alors mis en avant, montrant l'originalité des activités du service public. Le service public est une facette du droit administratif et nécessite des règles spéciales qui n'existent pas dans le Code Civil. Cette nécessité de règles amène l'intervention d'un juge spécial pour traiter les litiges. Ainsi, Pierre le Mire relève que la notion de service public « répondait au souci de trouver un nouveau fondement au droit administratif et plus généralement au droit public ».

Cette notion de service public apparaît alors que l'Etat est en pleine mutation, les révolutions industrielles se succèdent; les progrès économiques, politiques et sociaux ne sont pas étrangers au développement de cette notion. Des réformes telles que celle concernant l'instruction primaire obligatoire jusqu'à l'âge de 13 ans révolus permettent la mise en place d'un système éducatif sur un plan national. Ainsi, les services publics régaliens, tels que la justice, la sécurité ou l'éducation, prennent de l'ampleur et l'Etat se doit de les assurer.

Léon Duguit développe la théorie du service public et considère alors que la notion de service public est une notion clef dans la théorie de l'Etat. Il répand l'idée que l'Etat n'est qu'une « coopération des services publics ».
D'autre part,pour Hauriou, le service public n'est que la finalité, l'objectif mais pas le point central. Le point important se situe dans les moyens mis en œuvre pour aboutir à cette finalité, et ces moyens sont les prérogatives de puissance publique.
Cette notion de service public est propre à la France et semble contestée dans certains états voisins.
En 1935, le Conseil