Han blev født den 10. juni 1952 i Jacksonville, Florida, og begyndte at spille guitar i en ung alder. I 1971 sluttede han sig til det Jacksonville-baserede band Molly Hatchet og turnerede med dem indtil 1980.
Efter at have forladt Molly Hatchet, fortsatte McKinney med at danne bandet Andy McKinney and the Road Hawgs, som udgav to albums i 1980'erne.
Han har også arbejdet som sessionsmusiker og har optrådt på albums af kunstnere som Gregg Allman og Dickey Betts.
I de seneste år har McKinney boet i Jacksonville, Florida, og fortsætter med at spille musik af og til.