Efter krigen havde han svært ved at tilpasse sig livet i fredstid. Som sangen siger "Han kunne ikke holde ud at være omkring mennesker, så han flyttede alene i Kentucky. Han tilbragte næsten hver vågen time i en lille båd på en sø. Om sommeren fiskede han hele natten, når han kunne se sin egen madding "
Til sidst, efter at have brugt år på at vandre fra stat til stat, opsporede Wilsons søn ham og bragte ham hjem til Alabama.