SETELAH Nabi Musa wafat kepemimpinan diserahkan kepada Eliazar, putera Harun. Sebelumnya Musa berwasiat agar Bani Israel meneruskan cita-cita memasuki negeri Palestina atau Kan’an. Kepemimpinan Elizar kemudian digantikan oleh Yusya. Yusla lah yang kemudian menggerakkan Bani Israel keluar dari gurun Sinai untuk memerangi bangsa Kan’an dan Filistin yang menyembah berhala.
Setelah Bani Israel berhasil memenangi peperangan tersebut, negeri itu kemudian dibagi menjadi 12 wilayah. Raja mereka yang pertama adalah Thalut yang memerintah antara tahun 1042-1012 SM. Selanjutnya Dawud yang memerintah sekitar 40 tahun (1012-972 SM). Dawud kemudian diganti anaknya Sulaiman yang memerintah selama lebih kurang 40 tahun (972-937 SM. Pada masa pemerintahan Sulaiman inilah didirikan Haikal (Baitul Maqdis) di atas bukit Moria (Sion/Zion).
Pengaruh kerajaan Sulaiman pada masa itu sangat luas, meliputi daerah pinggiran sungai Eufrat sampai ke laut Merah. Kebesaran zaman Sulaiman inilah yang diimpikan orang Israel saat ini dengan melakukan gerakan Zionisme. Sengketa dan perpecahan mulai timbul setelah Sulaiman wafat. Di mana golongan Yahuda dan Benyamin memilih Rahbeam (anak Sulaiman) untuk menggantikan ayahnya sebagai raja.
Sementara 10 golongan yang lain memilih Yerobeam dari turunan suku Efraim. Karena tidak ada titik temu, kerajaan Israel akhirnya terpecah dua. Golongan Yahuda membentuk kerajaan sendiri yang dinamai Yahuda, berpusat di Yerusalem dengan rajanya Rahbeam.
Walaupun kerajaan Yahuda kecil dari kerajaan Israel, namun mereka memiliki beberapa kelebihan seperti menguasai Palestina sebagai ibu kota pusaka raja Dawud. Baitul Maqdis berada di daerah mereka. Begitu juga dengan Tabut, tempat tersimpannya Taurat Musa yang berada di wilayah mereka.
Kelebihan tersebut rupanya membuat Yerobeam, raja Israel tidak senang. Apalagi pengaruh kekuasaan kerajaan Yahuda tetap mendalam di hati semua rakyat, karena setiap sembahyang mereka tetap menghadap ke Palestina (Baitul Maqdis). Untuk menyainginya Yerobeam membuat patung lembu emas untuk sesembahan rakyat Israel sebagai ganti ibada biasa menyembah Yehoah (Allah) sambil berkiblat ke Baitul Maqdis.
Kehancuran kerajaan Israel dan Yahuda berawal ketika bangsa Assiria pada tahun 721 SM menyerang kerajaan Israel yang berpusat di Samaria. Seluruh negeri mereka hancurkan, ribuan orang Israel mati terbunuh, orang-orang terkemuka ditawan dan dibuang ke Assiria.
Pada tahun 606 SM kerajaan Yahuda mengalami nasib yang sama. Tentara Babilonia di bawah kekuasaan Nebukadnezar menyerang Palestina. Kota Palestina dihancurkan, ribuan orang terbunuh, selebihnya dijadikan budak. Sebagian lagi meloloskan ke tanah Arab, tepatnya di Yatsrib, sekarang Madinah. Peristiwa ini jauh-jauh hari sudah diperingatkan Nabi Musa, jika mereka menyimpang dari Taurat mereka akan mendapat hukuman dari Allah.
Peristiwa duka ini sudah diperingatkan Musa kepada Bani Israel sebelum beliau wafat, bahwa jika mereka menyimpang dari Taurat mereka akan mendapatkan hukuman dari Allah (wasiat ini tertera dalam Kitab Ulangan: XXVIII; 15, 21, 25, 26).
Setelah 70 tahun bangsa Yahudi jadi budak di Babilonia, mereka kemudian diperobelehkan kembali ke Palestina pada tahun 539 SM. Saat itu Babilonia telah ditaklukkan oleh Persia di bawah kekuasaan Cirus. Tetapi akibat musnahnya Yaurat dan pembuangan selama 70 tahun telah mengubah pandangan hidup bangsa Yahudi, mereka kehilangan pedoman.
Tahun 330 SM, Alexander Agung dari Macedonia (Yunani) mengalahkan Raja Persia, Darius III. Bangsa Yahudi pun berganti tuan. Tahun 301 SM negeri jajahan Yunani sebagian dapat direbut Mesir, salah satunya adalah Palestina. Tahun 199 SM Assiria merebut Palestina dari Mesir dan menguasainya selama 50 tahun sampai tahun 142 SM. Di tahun inilah bangsa Yahudi berhasil merebut kemerdekaan di tangan Assiria. Tak sampai seabad, tahun 63 SM mereka telah jatuh menjadi jajahan bangsa Romawi.
Pada masa penjajahan Romawi inilah Allah mengutus Nabi Isa. Allah mengutus Nabi isa untuk mengajak Bani Israel agar berpegang teguh pada ajaran Musa diingkari dengan penuh kedengkian. Tahun 33 SM diadakan perayaan Paskah tahunan di Bait Allah (Batul Maqdis), sebagai perayaan selamatnya bangsa Israel dari penindasan Firaun. Namun perayaan tersebut berubah menjadi pesta perniagaan yang diwarnai dengan perjudian. Bahkan di pintu gerbang Bait Allah diberi patung Garuda sebagai lambang kebesaran kekaisaran Romawi.
Hal ini membuat Nabi Isa dan pengikutnya menyerbu Bait Allah. Kerusuhan itu menimbulkan kemarahan penguasa Romawi. Romawi kemudian mencoba untuk menangkap Nabi Isa dan pengikutnya. Tetapi mereka telah menyingkir dan bersembunyi di bukit Gesmani. Pada saat itu orang Yahudi menyebarkan isu bahwa Isa akan melakukan pemberontakan terhadap Romawi dan mengangkat dirinya sebagai Raja Yahudi. Darisinilah awal mulai terjadinya penangkapan Isa dan terjadilah peristiwa penyaliban Isa yang kontroversial.
Pada tahun 70 M, Bani Israel pernah mencoba memberontak pada Romawi tapi tidak berhasil. Komandan militer Romawi, Titus, berhasil mematahkan pemberontakan tersebut. Tahun 132-135 M mereka kembali memberontak dan lagi-lagi gagal. Julius Cyprus, pemimpin Romawi akhirnya memporak-porandakan Yerusalem.
Di atas puing kota ini, Kaisar Romawi, Hendrian I membangun kota baru yang dinamakan Elia Capitolina yang kemudian dikenal dengan nama Elya. Bangsa Yahudi dilarang memasuki kota Yerusalem selama 200 tahun kemudian. Jumlah populasi mereka pun sangat jarang di sepanjang 18 abad berikutnya. Sementara penduduk pribumi dari keturunan Kan’an yang berasimilasi dengan kabilah Arab tetap langgeng di sana.
Romawi menguasai Palestina sampai tahun 640 M hingga datangnya islam. Kota Yerusalem kemudian diserahkan secara resmi pada Khalifah Umar bin Khattab tanpa peperangan. Di bawah pemerintah islam seluruh rakyat diperlakukan dengan adil dan diberi kebebasan beribadah sesuai agama masing-masing. Saat itu Yahudi, Kristen dan Islam hidup rukun dan berdampingan.[]