I sangen synger Taylor om, hvordan hun ville blive sent oppe med ham og tro, at hun ville være sammen med ham for evigt. Hun synger også om, hvordan hun troede, hun kunne ændre ham, og hvordan hun plejede at tro, at han var perfekt. Taylor indså dog til sidst, at hun ikke kunne ændre ham, og at han ikke var perfekt. Hun indså også, at hun havde det bedre uden ham.
The Way I Loved You er en sang om at acceptere, at et forhold er slut, og om at lære af det. Sangen handler også om at indse, at man ikke kan ændre nogen, og at man har det bedre uden dem.