Zdobyte w 539 roku p.n.e. przez Persów, miasto powoli traciło na znaczeniu. W roku 482 p.n.e. miasto Babilon zbuntowało się, a satrapę Zopyrosa zabito. Następca Dariusza, Kserkses I, za pośrednictwem Megabyzosa zdobył zbuntowane miasto, ograbił je i obłożył wysokimi podatkami. Żołnierzy wcielono do armii asyryjskiej i określano ich Chaldejczykami, gdyż nazwa związana z Babilonią została odtąd urzędowo zakazanaOlmstead A. T., Dzieje imperium perskiego, PIW, Warszawa 1974, s. 230, 238, 281..
W Babilonie zmarł w 323 roku p.n.e. Aleksander Wielki, który zamierzał uczynić je stolicą swojej uniwersalnej monarchii. Po jego śmierci miasto zaczęło podupadać w wyniku licznych wojen i masowych wywózek ludności (m.in. w roku 275 p.n.e.Jane McIntosh, Poszukiwacze skarbów, Wydawnictwo G+J RBA sp. z o.o. & Co. Spółka Komandytowa, 2001, ss. 30, ). Ostateczny upadek miasta dokonał się za czasów panowania Partów w III wieku n.e.