Dickens mødte Ellen Ternan i 1857, da hun kun var 18 år gammel, og han var 45. Ternan var sceneskuespiller, og Dickens blev straks betaget af hende. De indledte en hemmelig affære, som varede i flere år.
Dickens og Ternan var meget forelskede, og de planlagde at gifte sig efter Dickens blev skilt fra sin kone, Catherine. Dickens' kone nægtede dog at give ham skilsmisse, og derfor kunne han og Ternan aldrig være åbent sammen.
I 1865 fik Dickens og Ternan et barn sammen, en søn ved navn Charles. Dickens var overlykkelig over at være far igen, og han elskede sin søn. Men hans kone fandt ud af barnet, og hun blev rasende. Hun truede med at afsløre affæren for offentligheden, og Dickens blev tvunget til at slå op med Ternan.
Dickens og Ternan så aldrig hinanden igen efter 1865. Dickens døde i 1870, og Ternan levede indtil 1914. Hun giftede sig aldrig, og hun fik aldrig andre børn.