Omkvædet gentager linjen "Smoke on the water" for at skabe et levende billede af røgen, der stiger op over søen, som er Genevesøen. Sangen nævner også spillerummet på Montreux Casino, og hvordan det "brændte som en hund." Andre bemærkelsesværdige linjer inkluderer "Vi kom alle ud til Montreux ved Genèvesøens kystlinje", "Funky Claude løb ind og ud og trak børn op af jorden," med henvisning til spillestedets ejer Claude Nobs, der hjalp med redningen, og "When in in stilhed, vi husker det hele, fra en tid, der længe var gået, vi plejede at kalde hjem," reflekterer over eftervirkningerne og minderne fra den nat.
Sangen blev et af Deep Purples mest succesrige og kendte hits og er blevet coveret af adskillige andre kunstnere gennem årene.