Musicien de la scène électronique parisienne des années 2000, Kavinsky s'est rapidement fait remarquer grâce à ses sonorités analogiques très typées 80's avec Testarossa Autodrive pour point d'orgue. Artiste de scène avant tout, et malgré un faible nombre de productions personnelles, ses compositions font partie des références des années 2010. Il sort un premier EP nommé Teddy Boy sur le label Record Makers en 2006, suivi de 1986 en 2007 sur le même label. Il a été remixé à plusieurs reprises par Mr. Oizo, Arpanet, A-Trak ou encore SebastiAn. En 2007, il partage la scène avec Klaxons et SebastiAn en première partie de la tournée mondiale de Daft Punk.
En 2001, il débute comme acteur dans Nonfilm, premier moyen-métrage de son ami compositeur Quentin Dupieux (plus connu sous le pseudonyme de Mr. Oizo). Il y interprète un des rôles principaux aux côtés de Sébastien Tellier, musicien lui aussi. Il refera alors l'acteur à l'occasion, toujours dans des productions en marges et lorgnant vers l’humour absurde. Ainsi, la même année, il apparaît dans le clip de Benjamin Diamond Fit Your Heart, réalisé par Béchir Jouini. Il jouera aussi un petit rôle dans Aaltra, de Benoît Delépine et Gustave Kervern (2003), avant d'interpréter un garagiste joueur de petites cuillères dans Atomik Circus, le retour de James Bataille de Didier Poiraud et Thierry Poiraud sorti en 2004. C’est sur ce tournage qu’il rencontre le réalisateur et acteur belge Bouli Lanners, qui l’embauche pour Ultranova sorti en 2005. En 2007, il obtient son véritable grand rôle en incarnant Dan, le chef de la bande des Chivers, dans Steak, de Quentin Dupieux avec Éric et Ramzy.
En 2010, il sort Nightcall, un nouvel EP, produit par Guy-Manuel de Homem-Christo des Daft Punk. Il s'agit d'un duo avec Lovefoxxx du groupe CSS. Nightcall apparaîtra notamment sur la bande originale de Drive1. Le titre se hissera à la dixième place des ventes2. Fin 2010, dans une interview, il annonce qu'il travaille avec son ami SebastiAn