Det tidligste vidnesbyrd om karnatisk musik kan findes i det gamle tamilske folks musiktraditioner. De gamle tamiler udviklede et musiksystem kaldet Tamizh Isai, som var baseret på syvtoneskalaen (Saptha Swaras) og brugte forskellige musikinstrumenter, herunder yazh (et strengeinstrument) og kudam (et slaginstrument). Tamizh Isai blev brugt til religiøse ceremonier og kulturelle forestillinger.
Karnatisk musik udviklede sig senere under indflydelse af den hinduistiske religion og protektion af de regerende dynastier i Sydindien. I det 14. århundrede opstod Vijayanagara-imperiet som et magtfuldt kongerige i Sydindien og blev et vigtigt center for udviklingen af karnatisk musik. Vijayanagara-herskerne var store protektorer for musik og dans, og de opmuntrede væksten af musikskoler og -institutioner. De bestilte også sammensætningen af mange nye musikværker, herunder kritis, swaras og jathis.
I løbet af det 17. og 18. århundrede blomstrede karnatisk musik under Maratha-imperiets og Mysore-riget. Maratha-herskerne var store kendere af musik og dans, og de opmuntrede til væksten af karnatisk musik i deres domstole. Mysore-herskeren Krishnaraja Wodeyar III var en stor protektor for musik og dans, og han bestilte sammensætningen af mange nye musikværker.
I det 19. århundrede kom karnatisk musik i kontakt med vestlig musik på grund af den britiske kolonisering af Indien. Nogle karnatiske musikere begyndte at inkorporere vestlige elementer i deres musik, såsom brugen af klaver og violin. Men karnatisk musik bevarede sin traditionelle karakter og fortsatte med at være baseret på syvtoneskalaen og brugen af ragaer og talaer.
I dag er karnatisk musik en blomstrende kunstform og udføres af musikere over hele verden. Det betragtes som et af de mest sofistikerede og komplekse musiksystemer i verden, og det er beundret for dets skønhed, dets følelsesmæssige dybde og dets åndelige betydning.