Hans mest bemærkelsesværdige arbejde var med Cannonball Adderley Quintet i 1970'erne, men han har også arbejdet med mange andre bemærkelsesværdige jazzmusikere, herunder Thelonious Monk, Miles Davis, Dizzy Gillespie, Dexter Gordon og Herbie Hancock.
Udover sit arbejde som sidemand har Poole også udgivet adskillige soloalbums, herunder "The Essence of John Poole" (1977), "Sweet Lucy" (1978) og "Blue Planet Man" (1980).
Poole er også komponist og arrangør, og han har skrevet musik til film og tv. Han har også undervist i jazz og latin percussion ved University of Southern California og California Institute of the Arts.
Poole blev tildelt Jazz Journalists Associations pris "Årets trommeslager" i 2004 og 2005, og han er også medlem af National Academy of Recording Arts and Sciences (NARAS).