Sa carrière d'acteur débute en 1998 dans un second rôle avec Big Party, suivi d'un autre second rôle dans Un cadavre dans le campus. Mais c'est en 1999 qu'il obtient son premier rôle important - celui de Nick Andropolis - dans la série Freaks and Geeks (diffusé sur NBC), qui parle de deux groupes de lycéens dans le début des années 1980. Bien que la série n'ait pas rencontré le succès, elle permet à Segel d'une part de composer une chanson et de faire des rencontres : ceux qui vont devenir ses amis comme Seth Rogen et Martin Starr en autres, ainsi que le producteur de la série, Judd Apatow, avec qui il va retravailler. C'est durant cette période qu'il va sortir, après l'annulation de Freaks and Geeks, avec Linda Cardellini (Lindsay Weir), qu'il avait côtoyé sur Un cadavre sur le campus. S'en suit des apparitions au cinéma dans 11:14 ou à la télévision dans Les Années campus, série créée et produite par Apatow, Alias, Les Experts. Au cinéma, il incarne l'un des personnages principaux de la comédie Slackers.
Il participe également au film indépendant LolliLove, premier et unique long-métrage réalisé par l'actrice Jenna Fischer.
Ce n'est qu'en 2005 que la carrière de Segel est véritablement lancée avec la série How I Met Your Mother. Il incarne Marshall Eriksen, étudiant en droit à la fois maladroit et touchant. Le succès de la série humoristique sur la chaîne CBS lui permet d'obtenir la consécration. Ce succès lui permet d'avoir de bonnes propositions au cinéma.
C'est Judd Apatow, celui qui a contribué à lancer sa carrière avec Freaks and Geeks, qui va donner deux fois sa chance au jeune comédien. Le producteur, réalisateur, scénariste lui confie le rôle de Jason, incarne l'un des colocataires d'un glandeur (Seth Rogen) dans En cloque, mode d'emploi et produit Sans Sarah rien ne va, dont le comédien, qui joue le rôle principal - celui d'un musicien largué par sa petite amie - a écrit le scénario. Les deux films obtiennent un succès public et critique.
Le film permet de voir ses talents de musicien, que ce soit en exerçant le piano et le chant, comme il l'avait démontré dans Freaks and Geeks et dans How I Met Your Mother et le fera plus tard dans I Love You, Man.
En mars 2008 est annoncée la collaboration de Jason et Nicholas Stoller, le réalisateur de Sans Sarah rien ne va, pour la réalisation du nouveau film des Muppets pour Disney.
En 2009, il incarne le nouvel ami de Paul Rudd dans la comédie I Love You, Man. L'année suivante, il fait ses débuts de producteur aux côtés d'Apatow avec Get Him to the Greek, spin-off de Sans Sarah rien ne va, qui reprend le personnage d'Aldous Snow, incarné par Russell Brand.