1. Midred Harris (1918-1920)
2. Lita Grey (1924-1927)
3. Paulette Goddard (1936-1942)
4. Oona O'Neill (1943-1977)
Han var sammen med Oona O'Neill i længst tid, og de fik otte børn sammen.