Sedangkan sejarah yang menghubungkan Ka'bah dengan Nabi Ibrahim As dan Ismail adalah peritiwa pembangunan kembali. Imam Ibnu Katsir dalam kitab Bidayah wan Nihayah menjelaskan, "Ketika Allah memerintahkan Ibrahim As untuk membangun Ka'bah, beliau mendatangi lokasinya, dan angin telah menyingkap fondasi awalnya. Lalu beliau bersama Ismail mulai membangun di atas fondasi tersebut".
Maka pembangunan Ka'bah pada masa ini dikatakan sebagai "meninggikan bangunan Ka'bah", sebagaimana dinyatakan dalam Al Qur'an, "Dan (ingatlah) ketika Ibrahim meninggikan fondasi-fondasi Baitullah bersama Ismail (seraya berdoa): 'Ya Tuhan kami, terimalah (amal) dari kami. Sesungguhnya Engkaulah Yang Maha Mendengar lagi Maha Mengetahui' (QS. Al-Baqarah: 127).
Hal ini diperkuat oleh Ibnu Abbas, bahwa Ka'bah awalnya dibangun oleh Nabi Adam As, lalu ditinggikan oleh Nabi Ibrahim As dan anaknya Ismail. Dari Ibnu Abbas, ia berkata, "Orang pertama yang membangun Ka'bah adalah Adam, kemudian waktu berlalu hingga Ibrahim meninggikannya kembali."
Dengan demikian, ketika kita mengunjungi Ka'bah, yang terbayang oleh kita adalah sedang mengunjungi sebuah tempat yang para Nabi Allah telah mengunjunginya. Kita hadir dan tawaf di sebuah tempat di mana Nabi Adam telah melakukan hal itu pertama kali. Kita hadir di sebuah tempat di mana Nabi Ibrahim dan Ismail meninggikan bangunannya.
Kita hadir di sebuah tempat di mana Nabi saw dan para sahabat serta generasi setelahnya selalu mengunjunginya. Betapa mulia tempat ini, sehingga orang-orang mulia menyempatkan diri hadir dan melakukan tawaf padanya. Betapa Ka'bah adalah tempat yang sangat penuh berisi kemuliaan.
Demikian pula ketika kita hadir kota Madinah dan Masjid Nabawi. Di dalamnya sangat banyak kenangan dari Nabi saw dan para sahabat. Di tempat inilah Nabi tinggal bersama keluarga beliau, bahkan dimakamkan di dalamnya.
Di kota inilah sangat banyak sejarah Islam ditorehkan. Di tempat ini ada tangis dan doa Nabi saw. Ada ukhuwah Muhajirin dan Anshar. Ada sejumlah peperangan monumental. Ada sejarah penaklukan dan kemenangan. Inilah "isi" kota Madinah. Dia bukan kota kosong.
Karena alasan "isi" itu pula mengapa Nabi saw melarang kita mengunjungi kota-kota yang dahulu penduduknya diazab Allah. Ibnu Umar ra, menceritakan, "Ketika Nabi saw melewati daerah Hajar, beliau bersabda, 'Janganlah kalian memasuki tempat tinggal orang-orang yang dzalim, kecuali sambil menangis. Karena apa yang menimpa mereka bisa menimpa kalian'. Lalu beliau menutup kepala beliau dengan kain selendangnya, dan mempercepat perjalanannya, hingga berhasil melewati daerah itu (HR. Ahmad 5466 dan Bukhari 4419).
Dalam riwayat lain, beliau secara tegas melarang untuk memasuki tempat seperti itu, kecuali sambil menangis. Beliau bersabda, "Janganlah kalian memasuki daerah umat yang diadzab itu kecuali sambil menangis. Jika kalian tidak bisa menangis, jangan memasuki daerah mereka. Jangan sampai adzab yang menimpa mereka, menimpa kalian" (HR. Bukhari 433).
Kota-kota seperti ini menyimpan "sesuatu" sejarah kelam. Bukan kota kosong. Ada isi yang "menyeramkan". Maka Nabi saw melarang kita melewati, kecuali dengan menangis karena takut adzab Allah.
Salah satu contoh tempat yang dilarang dikunjungi adalah Al-Ula; tepatnya di Madain Salih atau Hegra. Di situ adalah kota bekas pemukiman kaum Tsamud yang dihancurkan karena kedurhakaan mereka terhadap Allah dan Nabi Salih. Namun ada beberapa wilayah Al-Ula yang aman dikunjungi, seperti Jabal Al-Fil, Kota Kuno Al-'Ula, Maraya, dan lain sebagainya.