Ibadah umroh berpusat di kawasan Masjidil Haram. Thawaf, sa'i dan tahallul dilaksanakan di lingkungan Masjidil Haram. Ternyata Masjidil Haram merupakan bangunan yang sangat bersejarah dan melegenda. Di tengah masjid inilah berdiri bangunan Ka'bah.
Yaqut Al-Hamawi dalam Mu'jam Al-Buldan menyatakan, "Yang pertama kali membangun dinding yang mengelilingi Ka'bah adalah Umar bin Khattab. Pada masa Nabi saw dan Abu Bakar belum ada".
 Kebijakan tersebut diambil oleh Umar disebabkan banyak rumah-rumah warga yang terus mendekati Ka'bah. Umar membeli rumah-rumah tersebut dan menghancurkannya untuk memperluas halaman Ka'bah.
Bagi sebagian warga yang menolak untuk dibeli, Umar tetap menghancurkan rumah-rumahnya namun tetap menyediakan ganti agar bisa dimanfaatkan pada saatnya nanti. Umar membangun dinding tanpa pondasi dan meletakkan lampu di atasnya.
Pada masa kekhalifahan Utsman, beliau membeli rumah-rumah lain di sekitar Ka'bah dengan harga lebih mahal. Â Diriwayatkan bahwa beliau yang pertama kali memberi atap pada saat perluasan masjid.
Pada masa pemerintahan Ibnu Zubair, beliau mendetailkan arau memperindah bangunannya dan tidak memperluas. Beliau memberi tiang yang berhias batu marmer, dan memperindah pintunya.
Pada masa Abdul Malik bin Marwan ia menambahkan tinggi dinding masjid, dan membawakan pagar dari Mesir lewat laut, dan menyuruh Hajjaj bin Yusuf untuk memolesnya.
Ketika Al-Walid bin Abdul Malik memimpin, ia menambahkan perhiasan Ka'bah, dan mengubah pancuran dan atapnya. Ketika Manshur dan anaknya Mahdi menjadi khalifah keduanya menambah keindahan masjid.
Di dalam masjid terdapat beberapa situs, di antaranya maqam Ibrahim, yaitu batu yang dipakai pijakan oleh beliau ketika membangun Ka'bah. Demikian juga terdapat sumur Zamzam; ia adalah mata air yang Allah keluarkan untuk ibunda Hajar dan anaknya Isma'il ketika keduanya sedang kehausan.
Sebagaimana yang diriwayatkan oleh Tirmidzi dan Ahmad dari Abdullah bin Amr berkata: Saya mendengar Rasulullah saw bersabda: "Sesungguhnya pojok (hajar aswad) dan maqam Ibrahim adalah batu mulia yang berasal dari bebatuan surga, yang Allah hilangkan cahayanya, andai saja tidak dihilangkan maka keduanya akan menyinari seluruh ufuk timur dan barat" (HR. Tirmidzi dalam "Sunan Tirmidzi: 804).
