Sangens tekst fremhæver den følelsesmæssige uro og indre konflikt, som manden oplever. Han indrømmer, at han stadig tænker på sin eks "hver nat og dag", og at han "ikke kan lade være med at spekulere på", om hun også tænker på ham. Han erkender, at han burde komme videre, men finder sig ude af stand til det, da hans hjerte stadig er bundet til hende.
Omkvædet understreger mandens manglende evne til at returnere den kærlighed, som en anden tilbyder ham. Han synger:"Jeg kan ikke elske dig tilbage, selvom du prøver hårdt" og "Jeg holder stadig fast i spøgelsen af det, vi havde." Dette tyder på, at han ikke er følelsesmæssigt tilgængelig for et nyt forhold og stadig er opslugt af sine følelser for sin ekspartner.
Gennem hele sangen udtrykker manden sin længsel efter fortiden og sit ønske om at være sammen med sin eks igen. Han synger:"Jeg ville ønske, jeg kunne gå tilbage og fortryde alle de ting, vi gjorde" og "Jeg ville ønske, jeg kunne holde dig i mine arme igen." Dette tyder på, at han fortryder bruddet og kæmper for at acceptere virkeligheden af deres adskillelse.
Samlet set er "I Can't Love You Back" en gribende sang om hjertesorg, tab og udfordringerne ved at komme videre fra et tidligere forhold. Den fanger den følelsesmæssige uro og sårbarhed hos en person, der stadig kæmper med følgerne af et brud og ikke er i stand til at finde kærligheden igen.