Il travaille dans sa jeunesse aux Folies Bergères puis se lance dans le théâtre et fonde sa propre compagnie "Théâtre 15" où il est acteur et metteur en scène.
Il débute au cinéma en 1962 avec Le Concerto de la peur, La drogue du vice de José Bénazéraf. Il devient très proche de Pierre Clémenti et d'une jeune bande d'acteurs, autour de Marc'O. Il tourne ensuite avec Jean-Luc Godard (Week-end), Philippe Garrel (Le Lit de la vierge) , Claude Lelouch avec qui il tourne sept films.
Il a fondé un groupe rock dont il est le chanteur «Kalfon Rock chaud» et joué dans plus de 65 longs métrages. Abonné aux personnages troubles, il tourne avec François Truffaut (Vivement dimanche!) , Claude Chabrol (Le Cri du hibou). Parallèlement, il accepte les propositions d'un cinéma plus populaire avec Folle d'elle ou Gamer.
Jean-Pierre Kalfon a incarné un Louis XIV secret dans Saint-Cyr, un metteur en scène dans La Répétition, un caïd dans Total Western.