Gennem hele sangen synger Selena om den følelsesmæssige tyngde ved at bære minderne om deres fortid sammen, hvilket gør det svært for hende helt at give slip og starte et nyt kapitel i sit liv. Hun beklager det faktum, at selvom de er fysisk adskilt, fylder hendes tidligere partners tilstedeværelse stadig en betydelig plads i hendes sind og følelser, som et vedvarende spøgelse.
Teksterne dykker ned i smerten ved at blive mindet om fortiden, med referencer til "dit grin" og "de ord, du plejede at sige," samt kampen for at finde afslutning og komme videre uden helt at slette minderne om forholdet. Selenas længsel efter fortiden er til at tage og føle på, mens hun synger om at ønske at glemme og være fri, men alligevel ikke være i stand til at undslippe det greb, som disse minder har på hende.
I sidste ende formidler "Ghost of You" intensiteten af den følelsesmæssige vejafgift, som et brud kan tage, især når en person kæmper for at give slip og acceptere, at forholdet er afsluttet. Sangen giver genlyd hos alle, der har oplevet de hjemsøgte rester af en tidligere kærlighed og udfordringerne ved at navigere vejen mod helbredelse og finde afslutning, efter at et betydningsfuldt forhold er afsluttet.