Mens hans familie havde været i Amerika i generationer, var de i sidste ende af engelsk afstamning. Hans far, Joseph Allen, blev født i Connecticut, men hans bedstefar var kommet til Amerika fra England.
Mens Allens familie og liv var dybt knyttet til de amerikanske kolonier, er hans herkomst stadig solidt forankret i England.