Joachim var et vidunderbarn og fik sin debut som syvårig. Han studerede hos Stanisław Serwaczyński og senere hos Ferdinand David ved Leipzigs konservatorium. Han studerede også komposition hos Moritz Hauptmann.
Joachims karriere som solist bragte ham over hele Europa, og han optrådte med mange af tidens førende orkestre. Han var også kammermusiker og optrådte med mange af de førende musikere på sin tid, herunder Clara Schumann, Johannes Brahms og Joseph Hellmesberger, Sr.
Joachim var også en dedikeret lærer, og underviste ved Wiens konservatorium fra 1869 til 1907. Han var også grundlæggeren af Joachim-kvartetten, som var en af tidens mest anerkendte strygekvartetter.
Joachim var en stor indflydelse på udviklingen af violinspillet, og hans lære har haft en dyb indvirkning på violinister over hele verden. Han anses for at være en af de største violinister gennem tiderne, og hans arv fortsætter med at inspirere og uddanne musikere den dag i dag.