Atteinte de la maladie d'Alzheimer, Allie vit en maison de retraite. Chaque jour, Noah lui lit le même livre. Il s'agit du carnet où Allie a consigné sa propre histoire, lorsqu'elle a appris sa maladie. Pour ne pas oublier ses sentiments, elle a écrit, et Noah, inlassablement, lui relit ses propres mots.
A travers eux, on la découvre dans les années trente, éperdument amoureuse d'un jeune homme, Noah, que sa mère fera tout pour éloigner d'elle, sa situation n'étant pas jugée assez bonne.
Après des années de séparation, à la fin de la Seconde Guerre mondiale, Allie s'apprête à épouser un avocat. Lorsque, par le journal, elle apprend le retour de Noah, l'envie lui prend de le revoir. Echappant à une vie de convenance, les deux jeunes gens se retrouvent et découvrent que leur amour est resté intact. Ils passeront le reste de leur vie ensemble, jusqu'à ce que la mémoire les sépare.

Noah Calhoun (Ryan Gosling) : Jeune homme de la campagne
Allie Hamilton (Rachel McAdams) : Jeune fille de la ville
Duke (James Garner) : Vieille homme
Allie Calhoun (Gena Rowlands) : Vieille femme
Lon Hammond (James Marsden) : Petit ami d'Allie
Anne Hamilton (Joan Allen) : Mère d'Allie
Frank Calhoun (Sam Shepard) : Père de Noah