"Wahai Rasulullah, masjid apakah yang pertama diletakkan oleh Allah di muka bumi?"Beliau bersabda, "Al-Masjid Al-Haram". Abu Dzar bertanya lagi, "Kemudian apa?". Beliau bersabda, "Kemudian Al-Masjid Al-Aqsha". Berkata Abu Mu'awiyah "Yakni Baitul Maqdis" . Abu Dzar bertanya lagi, "Berapa lama antara keduanya?". Beliau menjawab, "Empat puluh tahun". (H.R. Ahmad dari Abu Dzar).
Dari hadist tersebut kita mengetahui bahwa Masjidil Aqsha di bangun dengan waktu yang berdekatan dengan Masjidil Haram. Pondasi Masjidil Aqsha sudah diletakkan Allah  Subhanahuwataala sejak zaman Nabi Adam 'Alaihis Salam sebagaimana Allah SWT memerintahkan  Malaikat Jibril RA dan Nabi Adam AS untuk membangun rumah Allah yang pertama di muka bumi yang lalu kemudian dinaikan pondasinya oleh Nabi Ibrahim'Alaihis Salam  dan putranya nabi Ismail . 'Alaihis Salam
" Â Sesungguhnya rumah ( ibadah ) pertama yang dibangun untuk manusia ialah ( Baitullah ) yang di Bakkah ( Mekkah ) yang diberkati dan menjadi petunjuk bagi seluruh alam ( QS. Ali Imran : 96 )
Dalam perjalanan waktu pondasi Masjidil Aqsha tersebut hancur akan tetapi wilayah tersebut tetap menjadi sebuah kawasan suci. Kemudian Nabi Ibrahim As pernah shalat di tanah tersebut dalam perjalanan nya ke Kana'an. Dalam sebuah riwayat, Ibnul Qayyinb Al Jauzy menyebutkan bahwa Masjidil Aqsha ini dibangun kembali diatas pondasinya oleh Nabi Ya'qub 'Alaihis Salam yang merupakan cucu Nabi Ibrahim 'Alaihis Salam putra Nabi Ishak'Alaihis Salam.
Kemudian bangunan Masjidil Aqsa ini dibangun kembali oleh Nabi Daud'Alaihis Salam  yang merupakan keturunan berikutnya dan juga oleh putranya yaitu Nabi Sulaiman 'Alaihis Salam . Nabi Sulaiman  'Alaihis Salam membangun Masjidil Aqsha/Baitul Maqdis ini dengan begitu megahnya, beliau  memanggil seluruh orang pandai pengikutnya dari golongan jin dan manusia. Menggunakan berbagai jenis bahan bangunan dan berbagai jenis permata sebagai hiasannya sebagai tempat beliau beribadah. Bangunan ini juga sering disebut Haikal Sulaiman atau Temple of Solomo.
Dalam sebuah penelitian disebutkan bahwa konstruksi tiang tiang kolom besar persegi dibagian utara masjid saat ini serta tembok temboknya itu berasal dari masa kekuasaan Romawi. Tembok -- tembok tersebut dibangun kembali setelah Yerusalem dihancurkan pada tahun 70 M dimasa kekuasaan kaisar Titus. Struktur bawah tanah bangunan ini berasal dari masa kembalinya orang Yahudi dari tempat pembuangan mereka di Babilonia.
Orang Yahudi percaya bahwa di areal Masjidil Aqsha ini adalah bagian dari pembangunan Bukit Kuil Suci II oleh Raja Herodes Agung pada tahun 19 SM dan merupakan bagian yang disebut serambi Salomo dari bangunan Bait Keduanya (ini salah satu yang menjadi akar permasalahan/perselisihan sampai saat ini )
Perebutan Kekuasaan
Sejak dulu wilayah Palestina atau Yerusalem adalah sebuah wilayah yang penting dan strategis sehingga menjadi perebutan dari berbagai kekuasaan (lihat bagian sejarah singkat Yerusalem di again lain buku ini). Sejak dari zaman sebelum masehi kekuasaan silih berganti menguasai wilayah ini.Â
Kerajaan keturunan Bani Israil yang mulai menguasai wilayah ini bergonta-ganti dengan penguasa dari wilayah lain yang masuk dan menguasainya. Mulai dari Bangsa Babilonia, Maccabean, Persia, Romawi, hingga datangnya penguasa Muslim yang datang dan menguasai wilayah dibawah kepemimpinan Khalifah Umar bin Khatab Ra.
Pada bulan Mei 636 M, Kaisar Heraclius berambisi untuk mendapatkan kembali wilayahnya yang hilang akan tetapi pasukannya kalah pada perang Yarmuk pada agustus 636 M melawan pasukan Khalifah Umar Ra di bawah pimpinan Abu Ubaidah. Abu Ubaidah menaklukan kota Kaisarea dan Yerusalem dari Jabiya dengan di bant oleh Khalid bin Walid dan menggempur mundur pasukan Byzantium.
