Johnson blev født i Indianapolis, Indiana. Han begyndte at spille trombone i en alder af 11. Han studerede på Arthur Jordan Conservatory of Music og Indiana University School of Music.
Johnson flyttede til New York City i 1942 og blev hurtigt en af de mest eftertragtede trombonister i byen. Han spillede med Charlie Parker, Dizzy Gillespie, Bud Powell og andre bebop-legender.
I 1950'erne begyndte Johnson at udforske hard bop, en nyere, mere aggressiv jazzstil. Han indspillede flere indflydelsesrige albums med sine egne bands, herunder "The Eminent Jay Jay Johnson Volume 1" (1954) og "Jay Jay Johnson with Clifford Brown" (1955).
Johnson fortsatte med at turnere og indspille gennem 1960'erne og 1970'erne. Han underviste også på Berklee College of Music og Manhattan School of Music.
Johnson døde af et hjerteanfald i Indianapolis i 2001. Han var 77 år gammel.
Johnson var en mester på trombonen. Han havde en unik lyd, der var genkendelig med det samme. Han var også en begavet improvisator og komponist. Hans musik har påvirket utallige trombonister rundt om i verden.
Her er nogle af Johnsons mest berømte kompositioner:
* "Beklager"
* "Ezz-thetic"
* "Enigma"
* "Stjernestøv"
* "Blue Funk"