Pertempuran Yarmouk adalah pertempuran besar antara tentara Kekaisaran Byzantium dan pasukan Arab Muslim dari Kekhalifahan Rasyidin. Pertempuran itu terdiri dari serangkaian keterlibatan yang berlangsung selama enam hari pada bulan Agustus 636 M, dekat Sungai Yarmouk, saat ini adalah wilayah perbatasan Suriah-Yordania dan Suriah-Israel, sebelah timur Laut Galilea.
Hasil pertempuran tersebut adalah kemenangan Muslim yang mengakhiri kekuasaan Byzantium di Suriah. Pertempuran Yarmouk dianggap sebagai salah satu pertempuran paling menentukan dalam sejarah militer pasukan Muslim dalam menguasai jazirah Arab.
Kemudian Abu Ubaidah mengepung wilayah Yerusalem sejak November 636M. Setelah 6 bulan mengepung Yerusalem hingga akhirnya Patriarch Sophronius, penguasa Byzantium di Yerusalem menyerah dengan syarat bahwa dia hanya akan menyerah kepada Khalifah Umar Ra. Khalifah Umar Ra pada bulan  April 637M kemudian datang dan menerima penyerahan kota Yerusalem tersebut langsung dari Patriarch Sophronius. Dalam sebuah perjanjian yang terkenal dengan nama The Umariyya Covenant, Yerusalem di serahkan kepada Khalifah Umar Ra dan memberikan jaminan kebebasan sipil dan menjalankan agama Kristen dengan membayar Jizyah atau upeti. Khalifah Umar Ra atas nama umat Muslim menandatanganinya di saksikan oleh oleh Khalid, Amr, Abdurrahman bin Auf, dan Muawiyah. Pada akhir April 637M, Yerusalem secara resmi diserahkan kepada Khalifah. Untuk pertama kalinya, setelah hampir 500 tahun pemerintahan Romawi menindas orang-orang Yahudi  dan Kristen, tapi kali ini dibawah kekuasaan muslim mereka diizinkan untuk tinggal dan beribadah di dalam Yerusalem.
Dalam buku Jerusalem The Biography karangan Simon Sebag montefiore dituliskan peristiwa sewaktu Umar Ra tiba di Yerusalem, menjumpai Sophronius yang kemudian menyerahkan kunci kunci kota suci, Halaman 224 :
" Ketika muazin Umar memanggil shalat para tentara itu, Sophronius mengundang sang panglima shalat disana, tapi dia menolak, sambil memperingatkan bahwa ini akan menjadi tempat ibadah orang Islam.Umar tahu bahwa Rasulullah saw memuji Nabi Daud as dan Nabi Sulaiman as. " Bawa aku ke tempat suci Daud" dia meminta Sophornius. Dia dan tentaranya memasuki kuil, mungkin melalui gerbang nabi di selatan dan mendapatinya terkontamninasi "tumpukan kotoran yang ditempatkan orang orang kristen untuk merendahkan orang yahudi"
Umar meminta ditunjukan Holy of Holies. Sebagai pemeluk kristen dari Yahudi, Kaab al Ahbar, yang dikenal sebagai rabi menjawab bahwa, jika panglima menjaga " dinding itu" ( mungkin merujuk ke sisa sisa terakhir warisan Herod, termasuk Tembok Barat ) aku akan menunjukan kepadanya dimana sisa sisa kuil. Kaab menunjukan kepada Umar batu pondasi Kuil, batu yang oleh orang orang Arab disebut Sakhra.
Dibantu tentara tentaranya, Umar mulai membersihkan debu debu untuk membuat tempat shalat. Kaab menyarankan dia memilih tempat disebelah utara batu pondasi " sehingga kau akan memiliki dua qibla, yakni qibla Musa dan Muhammad"
" Kau masih condong kepada Yahudi" kata Umar kepada Kaab, sambil menempatkan rumah shalat pertamanya disebelah selatan batu, kira kira tepat ditempat Masjid Al aqsa kini berada, sehingga tempat itu menghadap ke Mekkah. Penduduk Yerusalem memang mensyaratkan Khalifah Umar bin Khatab yang berhak menerima penyerahan negeri mereka sebagai seorang Khalifah ( pemimpin umat Islam ) penduduk Yerusalem termasuk kaum Nasrani dan Yahudi memberikan kepercayaan  bahwa diri, harta mereka untuk dijaga dan dipelihara oleh Islam.Umar bin Khatab ra membebaskan areal Masjidil Aqsa pada tahun 637 M dan kemudian membangunnya kembali dengan kayu diatas pondasi aslinya."
Kekhalifahan muslimin menguasai wilayah Palestina (Yerusalem) dengan silih berganti kepemimpinannya hingga berakhir tahun 1099M sewaktu tentara Salib datang dan memporakporandakan wilayah ini serta menguasai wilayah Yerusalem ini. Akan tetapi kekuasaan kaum Salib ini tidaklah lama sampai kemudian Shalahuddin Ayyubi kembali mengambil alih kekuasaan di wilayah ini dan menguasai kembali (sejarah lengkap perang Salib ada di bagian lain buku ini).
Kisah awal struktur Masjidil Aqsa seperti diceritakan oleh Galia uskup Arculf, yang mengunjungi Yerusalem antara 679M dan 682M dimana dia menggambarkannya sebagai sebuah rumah untuk berdoa yang mampu menampung hingga 3.000 jamaah, dibangun dari balok kayu dan papan atas reruntuhan yang sudah ada sebelumnya.
Setelah masa Khulafaur Rasyidin berlalu dan kekuasaan Islam di pegang oleh Bani Ummayah yang dipimpin Khalifah Abdul Malik bin Marwan pada tahun 691 M (72 H) bangunan fisik Masjidil Aqsha disempurnakan dengan batu permanen dan merenovasinya dengan kubah berwarna kebiruan. Abdul Malik bin Marwan juga membangun bangunan berbentuk kubah yang melindungi batu pijakan Rasulullah saw sewaktu Mi'raj yang berlokasi 100 meter disebelah utara dari Masjidil Aqsa yang dikenal dengan Kubah As Shakrah (Dome of the rock )
