O dönemde Babil'i işgal eden Tikulti -Ninurta, Sargon, Sanherip ve Asurbanipal kuleyi yıkmış ve tahrip etmişlerdi. Babil Kralları Nabopollasor ve Nabukadnasor tarafından kule yeniden yapıldı.

Ancak M.Ö. 479'da Babil'i fetheden Pers kralı Xerkes'in kuleyi yıkmasından sonra ne yazık ki kule tekrar onarılamadı. Sonrasında Büyük İskender Babil'e geldiğinde kulenin o harap haline bile hayran kaldı ve kuleyi eski haline getirmeye karar verdi. Büyük İskender kulenin enkazı için 10.000 kişiyi iki ay boyunca çalıştırarak molozları temizletti onarımı da Büyük İskender'in ölümüne kadar sürdü.

İslami kaynaklara göre, Kuran’da Hz. Musa, Firavun, Karun, Haman ve kerpiçten yapılan bir kule aynı hikâyenin içinde anlatılmaktadır. Farklı coğrafya ve tarihsel dilimlere ait bu öğelerin uyumunu sağlamak amacıyla bazı yorumcular kulenin piramit olabileceğini söyleseler de Mısır piramitlerinin ne mimarisi kuleye benzer, ne de inşaatında kullanılan malzemeler Kur’an da bahsedildiği gibi kilden yapılmıştır.

Hikâye Tevrat'taki ile benzerlik göstermesine rağmen Babil'de değil, Hz. Musa'nın yaşadığı dönemde Mısır'da geçmektedir. Tevratta, Firavun, Haman'a, kendisine kilden bir kule inşa etmesini, çıkıp Hz. Musa'nın tanrısına bakacağını söyler Babilden, Yakut el-Hamavi'nin yazılarında ve Lisan el - Arab'da da bahsedilir. Öyküye göre tüm insanlar rüzgârın önüne katılarak bir yerde toplanırlar. Buraya sonradan Babil denir. Babil'de insanlara Allah tarafından değişik lisanlar tahsis edilir ve yeniden rüzgârla geldikleri yerlere dağıtılırlar.

9. yy İslam tarihçilerinden El-Tabari'nin Peygamberler ve Krallar Tarihi adlı eserinde hikâyeye göre Nemrut Babil'de bir kule inşa ettirir. Tanrı bu inşa edilen kuleyi yıkar ve o zamana kadar aynı dili konuşan insanların dili böler ve 72 dile ayırdığını belirtir. 13. yy İslam tarihçilerinden Ebu el-Fida da aynı hikâyeden bahseder. İbrahim'in atası Hud'un kendi dili olan İbraniceyi korumasına izin verildiğini ekler.

Yahudi ve Hristiyan kaynaklara göre,Tanah ve Eski Ahit iki dinde de benzerlik gösterdiği için Babil konusu  aynıdır. Tevrat'ın yaratılış kısmında Babil Kulesi'den bahsedilir. Nuh'un oğulları Büyük Tufan'dan sonra Sümer’e yerleşmiş, burada şehir ve göklere kadar yükselen bir kule yapmak istemişlerdir. Efsaneye göre Tanrı kendisine ulaşmaya çalışan insanların kendini beğenmişliğine, kibirli olmalarına kızar ve o zamana kadar tek dil konuşmakta olan insanların dillerini karıştırarak birbirlerini anlamalarını engeller. Kulenin yıkılışına dair Tevrat'ta anlatılan bir bilgi yoktur ancak Jubilees veya Leptogenesis olarak bilinen Yahudi belgelerinde bu bilgi aktarılır. Dini bir bakış açısıyla bu hikâye genellikle insanın kusurluluğunu, tanrının kusursuzluğu ile kıyaslamak ve dünyadaki yüzlerce dilin kökeninin nereden geldiğini açıklamak amacıyla kullanılmıştır.