Il commence à faire du football américain puis devient comédien. Il débute à la télévision dans un épisode de Sergent Anderson en 1975 et au cinéma dans Le Souffle de la tempête d'Alan J. Pakula en 1978. Il tient la vedette en 1980 de la série Marchands de rêves, sur la naissance du cinéma, et surtout en 1981-1982 de Flamingo Road, qui fixe pour longtemps son image de jeune premier idéal dans le rôle de l'ambitieux Fielding Carlyle.
Mark joue ensuite dans trois épisodes de La croisière s'amuse et deux épisodes de Hôpital St Elsewhere, série hospitalière culte aux États-Unis. Il s'essaie au film d'aventures exotiques (Touaregs) et à la comédie (Des vacances de rêve à la télévision et Prof d'enfer pour un été de Carl Reiner au cinéma, les deux avec Kirstie Alley). Il s'illustre aussi dans des compositions dramatiques dans les téléfilms Au-dessus de tout soupçon, où il incarne le tueur Ted Bundy, et Rendez-moi mes fils inspiré d'un autre fait divers ayant pour héros Sebastien Milito. En 1987, dans la célèbre série Clair de lune, Harmon joue un spationaute charmeur qui éclipse un temps Bruce Willis dans le cœur de Maddie (Cybill Shepherd).

L'année suivante, Harmon est le partenaire de Sean Connery et Meg Ryan dans le thriller Presidio, base militaire, San Francisco, réalisé par Peter Hyams ; pour l'occasion, son salaire franchit la barre symbolique du million de dollars. Cependant, le succès mitigé du film l'en éloigne.

L'acteur revient au petit écran : il succède à Paul Newman en gigolo cynique face à Elizabeth Taylor dans l'adaptation de la pièce de Tennessee Williams Doux Oiseau de jeunesse, filmée par Nicolas Roeg, et à Joseph Cotten dans le remake du film d'Alfred Hitchcock L'Ombre d'un doute avec Tippi Hedren pour co-vedette ; il interprète également le rôle titre de Dillinger. Sur grand écran, Mark séduit Madeleine Stowe et Lesley Ann Warren dans la comédie Trois Lits pour un célibataire et tourne des films confidentiels dirigés par Roeg et John Seale.

En 1994, Harmon figure dans la distribution du Wyatt Earp de Lawrence Kasdan, et l'année suivante il est le père dans le film pour enfants Orky - où il retrouve l'actrice Harley Jane Kozak. Dans le même temps, il obtient le rôle titre de la série Charlie Grace, où il joue un détective privé, mais celle-ci ne trouve pas son public et disparaît rapidement. Dès 1996 (et durant quatre saisons), il devient un personnage régulier d'une autre série hospitalière culte : Chicago Hope/La Vie a tout prix. Durant cette époque, il apparaît également (non crédité) dans le film de Terry Gilliam Las Vegas Parano.

Par la suite, Mark Harmon continue de travailler pour le cinéma, souvent en vedette, mais ces œuvres passent inaperçues. En revanche, ses participations à la série À la Maison blanche en 2002 et surtout deux épisodes de JAG relancent sa carrière : il y interprète l'agent spécial Leroy Jethro Gibbs, personnage qu'il reprend en 2003 dans NCIS : Enquêtes spéciales où il est le chef des opérations, le héros autour duquel la série est bâtie — série dont il est aussi co-producteur. La même année, le public le remarque au côté de Jamie Lee Curtis dans Freaky Friday - Dans la peau de ma mère de Mark Waters.