Han blev født på øen Bequia, Saint Vincent, og modtog en kolonial folkeskoleuddannelse. I 1930 modtog Palmer et stipendium for at gå på gymnasiet i London. Med yderligere stipendier fortsatte han med at studere medicin ved University of Birmingham, hvor han dimitterede i 1941.
Han vendte tilbage til Vestindien og arbejdede i Jamaica, Trinidad og Tobago og Saint Lucia. I 1950 vendte Palmer tilbage til Saint Vincent for at øve. I 1954 var Palmer med til at stifte People's Political Party (PPP) og blev valgt som lovgiver til det lovgivende råd. Han blev valgt som Chief Minister i 1967.
I 1979 førte Palmer Saint Vincent og Grenadinerne til uafhængighed fra Storbritannien. Han blev slået til ridder af dronning Elizabeth II samme år.
I 1984 trak Palmer sig tilbage fra politik og blev efterfulgt som premierminister af James Fitz-Allen Mitchell. Han døde på sin 92 års fødselsdag.