Il commença sa carrière sur les planches avant de gagner Hollywood et de devenir l'une des premières grandes vedettes de l'ère du cinéma parlant avec des films comme Le Code criminel ou Dodsworth. Il remporta l'Oscar du meilleur acteur dans un second rôle pour Le Trésor de la Sierra Madre réalisé par son fils John Huston.
Il mourut des suites d'une rupture d'anévrisme cardiaque, au lendemain de son 66e anniversaire.