Det er dog sandt, at han stod overfor kritik og kontrovers gennem hele sin karriere, hvilket førte til nogle spændinger med netværk og seere.
Her er nogle eksempler på, hvad der måske har bidraget til denne opfattelse:
* Kritik af atleter: Cosell var kendt for at kritisere atleternes præstation, ofte med en stump og ufiltreret stil. Dette førte undertiden til offentlige sammenstød med spillere.
* racemæssig og social kommentar: Han var også kendt for at tackle sociale og racemæssige spørgsmål, undertiden på en måde, der blev betragtet som ufølsom eller stødende.
* sammenstød med netværk: Han havde et noget bekæmpende forhold til netværk, der ofte udfordrede deres autoritet og skubbede grænser med sin kommentar.
Mens der aldrig var en eneste hændelse, der førte til hans fjernelse fra radio- og tv -spredning, bidrog disse faktorer til en opfattelse af ham som en kontroversiel figur. I sidste ende trak han sig tilbage fra udsendelsen i 1985, men det skyldtes mere hans alder og helbred end nogen specifik kontrovers.