Terrell blev født i Philadelphia, Pennsylvania, og begyndte sin karriere som teenager og sang i forskellige lokale grupper. I 1961 skrev hun kontrakt med Motown Records og udgav sin debutsolo-single, "I Can't Believe You Love Me". Sangen var et mindre hit, men det hjalp Terrell med at opnå anerkendelse i Motown-organisationen.
I 1964 indspillede Terrell duetten "Ain't No Mountain High Enough" med Marvin Gaye. Sangen blev et stort hit, nåede nummer et på Billboard Hot 100-hitlisten og vandt to Grammy Awards. Terrell og Gaye fortsatte med at samarbejde, og de udgav flere succesrige duetter, herunder "Your Precious Love", "You're All I Need to Get By" og "If I Could Build My Whole World Around You".
I 1967 blev Terrell diagnosticeret med hjernekræft. Hun blev opereret og behandlet, men kræften vendte tilbage i 1969. Terrell døde i Philadelphia den 16. marts 1970, 24 år gammel.