Dans une petite ville du Mississippi, un crime vient d'être commis. L'adjoint du shérif arrête un inconnu assis dans le hall de la gare. Il est directement accusé du meurtre : il est Noir et a beaucoup d'argent sur lui. Après vérification de son identité, il s'avère que cet homme est Virgil Tibbs, un policier, membre de la brigade criminelle de Philadelphie. Il est alors relâché sans un mot d'excuse.

Son supérieur lui ordonne alors de rester à Sparta et de collaborer avec le shérif Gillepsie pour retrouver le meurtrier en question. Tibbs est hostile à cette idée, car il sait que les habitants de la ville se montrent méfiants à son égard. Mais il accepte et commence son enquête.