Der er ingen tvivl om, at Dickens var forelsket i Ternan. Han skrev lidenskabelige breve til hende, der indeholdt eksplicitte seksuelle referencer. I et brev skrev han, at han længtes efter at "smage den modne røde mund... fortære [hendes] lækre krop."
Men omfanget af deres fysiske forhold er ukendt. Nogle biografer mener, at de aldrig rent faktisk havde sex, mens andre mener, at de havde.
Det, der står klart, er, at forholdet til sidst blev en byrde for Dickens. Han følte sig skyldig over at være sin kone utro, og han var bekymret over en offentlig skandale.
I 1858 afsluttede Dickens affæren og sendte Ternan til udlandet til Frankrig. Hun vendte tilbage til England et par år senere, men så aldrig Dickens igen.
Ternan selv talte aldrig offentligt om sit forhold til Dickens. Ifølge en af hendes slægtninge "tog hun den til sin grav".
Selvom de specifikke detaljer om deres forhold måske aldrig kendes, er der ingen tvivl om, at romantikken mellem Charles Dickens og Ellen Ternan var betydningsfuld og i sidste ende tragisk.