Nat King Cole giftede sig med Maria Ellington den 25. december 1936 i Chicago, da hans første karriere genopstod. De var lykkeligt gift i 20 år og adopterede fem børn; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (april 1941) og to piger Carol "Cookie" Cole (1944) og Maria Cole (1947). Deres søn Nat Kelly Cole blev en berømt sanger, sangskriver og skuespiller.
Den 28. december 1956 døde Maria Cole uventet af lungekræft i en alder af 45, hvilket efterlod Nat dybt knust og knust. Han var enkemand, indtil han giftede sig med sangerinden Maria Hawkins den 8. juli 1965. De forblev sammen indtil Nat King Coles alt for tidlige bortgang i 1965.
Faderskabskontrovers
I 1990'erne kom en kvinde ved navn Lorna Coles frem og hævdede at være Nat King Coles datter fra en kort affære, han havde med sin mor i 1947. DNA-test bekræftede, at Lorna Coles faktisk var Nat King Coles biologiske barn.