Costello blev født i Paterson, New Jersey, af italienske immigranter. Han begyndte sin karriere i showbusiness som teenager og optrådte i vaudeville og burlesk. Han mødte Bud Abbott i 1936, og de to dannede et komediehold. De blev hurtigt en af de mest populære komediehandlinger i verden og optrådte i natklubber, på radio og i film.
Abbott og Costellos komedie var præget af deres slapstick-rutiner og Costellos høje stemme og overdrevne ansigtsudtryk. De medvirkede i i alt 36 film sammen, herunder "One Night in the Tropics" (1940), "Buck Privates" (1941) og "Abbott and Costello Meet Frankenstein" (1948).
Costellos helbred begyndte at falde i begyndelsen af 1950'erne, og han gennemgik flere hjerteoperationer. Han døde af et hjerteanfald i 1959 i en alder af 52.
På trods af sin for tidlige død betragtes Costello som en af de mest indflydelsesrige komikere i det 20. århundrede. Hans arbejde med Bud Abbott var med til at definere komediegenren og inspirerede utallige andre komikere.