Karim Ziani est né en région parisienne d'un père algérien [1] et d'une mère française[1]. Il est d'abord repéré par le Racing club de France qui l'intègre à ses équipes jeunes de 1995 à 1998. Il rejoint ensuite le centre de formation de Troyes, signant son premier contrat pro avec le club aubois en 2001. Sous les ordres de l'entraîneur Alain Perrin, il foule pour la première fois les pelouses en championnat de Ligue 1 en décembre 2001. Il fait ses débuts dans la sélection algérienne le 12 février 2003, à l'occasion d'un match contre la Belgique.

Un temps pressenti pour rejoindre l'Italie et le club de Sienne, il part finalement en prêt le 11 octobre 2004 au FC Lorient. Devenu un élément-clé du dispositif lorientais, l'équipe de Christian Gourcuff le recrute pour la saison 2005-2006 qui le verra s'affirmer comme l'un des grands artisans de la remontée en Ligue 1[1]. Il est d'ailleurs désigné meilleur joueur de Ligue 2 au terme de cette saison.
Ce titre et son nombre important de sélections en équipe d' Algérie lui attirent l'intérêt de nombreux clubs dont le FC Nantes, l'Olympique de Marseille et l'AS Saint-Étienne[1]. C'est finalement pour le FC Sochaux-Montbéliard qu'il s'engage pour trois ans en août 2006, retrouvant ainsi l'entraîneur de ses débuts, Alain Perrin.
En 2006 et 2007, il est élu Ballon d'Or Algérien. Le 12 mai 2007, il remporte la coupe de France avec le FC Sochaux contre l'OM. Avec une passe millimétrée décisive à la 116e minute à son coéquipier Le Tallec, il fait basculer le cours du match et permet à son équipe d'égaliser et de passer aux tirs au but.

En juin 2007, il est recruté par l'Olympique de Marseille, pour une durée de 4 ans. Ce transfert, évalué à 8 millions d'euros, lui permettra notamment de découvrir la prestigieuse Ligue des champions. Karim Ziani inscrit son premier but sous les couleurs de l'OM le 15 août 2007 lors de la 3e journée contre Valenciennes FC.
Cependant, lors de sa première saison à Marseille, il n'est que