Hirt blev født i New Orleans, Louisiana, af en musikerfar og en hjemmegående mor. Han begyndte at spille trompet i en alder af seks år, og da han gik i gymnasiet, spillede han professionelt i lokale klubber. Efter at have tjent i den amerikanske flåde under Anden Verdenskrig vendte Hirt tilbage til New Orleans og genoptog sin musikkarriere.
I 1950 sluttede Hirt sig til trompetisten Louis Primas band, og han turnerede med Prima i flere år. I 1957 forlod Hirt Primas band og dannede sin egen gruppe. Han blev hurtigt en af de mest populære jazztrompetister i verden, og han indspillede en række hitalbums.
Udover sin musikkarriere var Hirt også en succesfuld tv-personlighed. Han var vært for sit eget varietéshow, "The Al Hirt Show", fra 1964 til 1968. Han optrådte også i adskillige andre tv-shows, herunder "The Tonight Show Starring Johnny Carson", "The Ed Sullivan Show" og "The Merv Griffin Vise."
Hirt døde af kræft i New Orleans i 1999. Han blev 76 år gammel.