Wilson blev født den 23. juni 1947 i Sioux-indianerreservatet i South Dakota. Han var søn af en fuldblods sioux-kvinde og en irsk far. Wilson blev opvokset på reservatet, og han begyndte at spille guitar i en tidlig alder. Han var påvirket af sit folks traditionelle musik såvel som af rock and roll i 1950'erne og 1960'erne.
Efter gymnasiet flyttede Wilson til Minneapolis, Minnesota. hvor han dannede et band kaldet Sugarloaf med sin svoger Craig Fuller og singer-songwriter Michael Omartian.
Gruppen havde en vis succes og indspillede to albums for RCA Records, før de gik i opløsning i 1971.
Efter opløsningen af Sugarloaf , flyttede Wilson til Los Angeles, Californien, hvor han dannede Pure Prairie League i 1972.
Bandet fik hurtigt en tilhængerskare, og de udgav en række succesfulde albums gennem 1970'erne.
Nogle af deres mest populære sange inkluderer " Amie" , "Faldne engle" , og " Lad mig elske dig i aften ".
I 1979 forlod Wilson Pure Prairie League for at påbegynde en solokarriere.
Han udgav to soloalbum, "Jeff Wilson" (1981) og "Vær aldrig det samme" (1983), men de var ikke så succesfulde som hans arbejde med Pure Prairie League.
Wilson fortsatte med at turnere og optræde gennem 1980'erne og 1990'erne, men hans helbred begyndte at falde i slutningen af 1980'erne. Han fik konstateret kræft i halsen og gennemgik flere behandlingsrunder.
Den 12. december 1991 døde Jeff Wilson af kræft i halsen i en alder af 44 .
Han blev overlevet af sin kone, to døtre og to sønner.