I det fjerde århundrede introducerede Sankt Ambrosius, biskop af Milano, antifonal sang, hvor koret synger skiftende vers af en salme eller salme. I det femte århundrede standardiserede Skt. Gregor den Store, pave af Rom, liturgien og etablerede et system med otte musikalske former. Dette system, kendt som gregoriansk sang, blev den primære form for musik i den katolske kirke i århundreder.
I løbet af middelalderen begyndte forskellige andre former for kirkemusik, såsom liturgiske dramaer, polyfoni og orgelmusik, at udvikle sig. Polyfoni, hvor to eller flere musiklinjer synges samtidigt, blev vigtig i det 12. århundrede.
I det 16. århundrede indledte Martin Luther den protestantiske reformation. Dette førte til udviklingen af forskellige stilarter af kirkemusik, såsom lutherske koraler og anglikansk sang. Disse genrer er stadig vigtige dele af den kristne tilbedelse i dag.
Det 19. og 20. århundrede oplevede en fornyet interesse for studier og fremførelse af tidlig kirkemusik, såsom gregoriansk sang og Palestrinas værker. Der har også været en udstrømning af ny hellig musik komponeret i en række forskellige stilarter.