En lille gruppe babyloniske jøder forblev i Babylon efter den persiske erobring, og de spillede senere en vigtig rolle i udviklingen af jødisk kultur og religion i det andet tempelperiode. Den babylonske Talmud, en af de vigtigste tekster i jødisk lov, blev samlet i Babylon i denne tid.
I det 7. århundrede e.Kr. blev Babylon erobret af de arabiske muslimer, og det blev en del af den islamiske verden. Byen fortsatte med at falde, og i det 10. århundrede var den stort set forladt. I dag ligger ruinerne af Babylon nær byen Hillah i det moderne Irak.