Fin XIXe siècle, Cartagena, Colombie. Un jeune télégraphiste pauvre et poète, Florentino, tombe amoureux fou de la plus jolie des jeunes filles, Fermina. Sous les amandiers d'un parc, il lui jure un amour éternel et elle promet de l'épouser. Mais le père de Fermina, furieux, se promet de séparer les jeunes amants.
Quelques années plus tard, celle qui est devenue une éblouissante jeune femme, irrésistible de grâce et d'intelligence, épouse Juvenal Urbino, un jeune et riche médecin, plutôt que le médiocre Florentino. L'homme qui a réussi à endiguer l'épidémie de choléra de la ville part s'installer avec son épouse à Paris. Lorsqu'ils reviennent à Cartagena plusieurs années après, Fermina a tout oublié de son premier amour...
Florentino, lui, ne l'a pas oubliée. Devenu un riche armateur, il collectionne les liaisons féminines mais brûle toujours d'amour pour la belle Fermina...