Akhirnya, atas nasehat dan saran Kiai Ya'qub, Kiai Hasyim meninggalkan tanah air untuk menuntut ilmu di bawah asuhan Ulama terkenal di Mekkah sambil menunaikan ibadah haji untuk kedua kalinya. Di Makkah, Kiai Hasyim belajar di bawah Syaikh Ahmad Amin al-Attar, Sayyid Sultan bin Hasyim, Sayyid Ahmad bin Hasan al-Attas, Syaikh Sa'id al-Yamani, Sayyid Alawi bin Ahmad al-Saqaf, Sayyid `Abbas Maliki, Sayyid Abdullah al-Zawawi, Syaikh Salih Bafadal, dan Syaikh Sultan Hasim Dagastana, Syaikh Shuayb bin Abd al-Rahman, Syaikh Ibrahim Arab, Syaikh Rahmatullah, Sayyid Alwi al-Saqaf, Sayyid Abu Bakr Shata al-Dimyati, dan Sayyid Husayn al-Habshi yang saat itu menjadi mufti, dia Selain itu, Kiai Hasyim juga mendapat ilmu dari Syekh Ahmad Khatib Minangkabawi, Syekh Nawawi Al-Bantani dan Syekh Mahfuz Al-Tarmas.
Prestasi akademik Kiai Hasyim yang luar biasa juga kemudian memberinya kepercayaan diri untuk mengajar di Masjidil Haram. Beberapa ulama terkenal dari berbagai negara dikatakan pernah belajar dengannya.
Mendirikan Nahdotul Ulama
Terbentuknya Nahdlatul Ulama sebagai wadah Ahlussunnah wal Jama'ah tidak semata-mata karena KH. Hasyim Asy`ari dan ulama lainnya menginginkan inovasi, namun situasi saat itu justru berada pada titik kritis, memaksa mereka untuk membentuk sebuah forum. Saat itu, ada momentum besar di Timur Tengah yang dapat mengancam keberlangsungan Ahlussunnahwal Jama'ah sehubungan dengan penghapusan sistem khilafah oleh Republik Turki modern dan penambahan sistem pemikiran Wahhabi. Pintu Arab Saudi untuk benar-benar tertutup bagi perkembangan mazhab lain di negara-negara Arab saat itu.
 Pada saat berdirinya NU, beberapa ulama ternama berkumpul di Masjidil Haram untuk mendesak dibentuknya organisasi pelindung Ahlussunnah wal Jama'ah. Usai istikara, ulama Saudi berpesan kepada KH. Hasyim Asy`ari mendatangi dua ulama besar di Indonesia saat ini. Jika dua ulama besar ini setuju, kami akan menindaklanjuti secepatnya. Keduanya adalah Habib Hasyim dari Pekalongan dan Syaikhona Kholil dari Bankalan. Dengan kata lain, KH Hasyim Asy`ari akan didampingi oleh Kiai Yasin, Kiai Sanusi, Kiai Irfan dan KH. R. Asnawi datang ke rumah Habibhasim di Pekalongan. Kemudian dilanjutkan mengunjungi Syaikhona Kholil Bangkalan dan kemudian KH. Hasyim dan ulama lainnya menerima dari Syaikhona Kholil wasiat untuk segera melaksanakan niatnya, sementara pada saat yang sama ia memberikan restunya.
 Kemudian pada tahun 1924 Syekhona Kholil mengirim Kiai As'ad, yang saat itu berusia 27 tahun, untuk membawa tongkat ke Kiai Hasyim Asy'ari, Tebuireng, Jombang, dan menghafalkan Surat Thaha ayat 17-23 untuk dibacakan di hadapan Kiai Hasyim.  Kiai As'ad berangkat dengan sepeda dan Syaikhona Kholil menyediakan uang untuk perjalanan, tetapi dia berpuasa selama perjalanan. Kemudian sesampainya di Tebuilen, Kiai As'ad mendatangi Kiai Hasyim Asy'ari dan memberinya sebuah tongkat.
Beberapa hari kemudian, Syaikhona Kholil mengirim Kiai As'ad lagi dan membawakan tasbih itu kepada Kiai Hasyim. Ketika Syaikhona menyerahkan tasbih kepada Kholil, Kiai As'ad menolak untuk menerimanya dengan tangan dan meminta Syaikhona untuk menggantungkan tasbih di lehernya. Syekhona Kholil memerintahkan Kiai As'ad untuk membaca "Yaa Jabbar Yaa Qahhar"Â
sampai dia tiba di Tebuireng dan membacanya di depan Kiai Hasyim. Selama  perjalanan, Kiai Assad tidak pernah menyentuh tasbih sampai tiba di Tebuireng. Kiai Assad segera mendekati Kiai Hasyim dan meminta Kiai Hasyim untuk mengucapkan "Yaa Jabbar Yaa Qahhar" dan melepaskan tasbih dari lehernya. KH. Hashim Asy'ari menerima dua sinyal kuat ini. Artinya, Syakhona Kholil menguatkan pikirannya dan mengucapkan selamat kepada organisasi Jam'iyah Nahdlatul Ulama. Setahun kemudian pada tanggal 31 Januari 1926 M / 16 Rajab 1344 H, para ulama Jawa Madura berkumpul di Surabaya. Mereka bermusyawarah dan sepakat untuk mendirikan organisasi Islam Nahdlatul Ulama.
Pemikiran
Pemikiran KH. Hasjim Asy`ari mengenai Ahlussunnah wal Jama`ah merupakan ulama pada bidang tafsir Al Qur'an, Sunnah Nabi Muhammad, & Fiqih yg tunduk dalam tradisi Rasulullah & Khulafaur Rasyidin. Selanjutnya dia menyatakan bahwa hingga kini  ulama tadi termasuk "mereka yg mengikuti Mazhab Imam Abu Hanifah, Imam Maliki, Imam Syafi'i, & Imam Hambali". Pemikiran inilah yg diterapkan sang Jam'iyah Nahdlatul Ulama yg menyatakan menjadi pengikut, penjaga, pelestari, & penyebar paham Ahlussunnah wal Jama`ah
Ahlussunnah wal Jama`ah pada pandangan KH. Hasyim Asy'ari tidak mempunyai makna tunggal, tergantung perspektif yg dipakai. Paling tidak masih ada 2 perspektif yg dipakai untuk mendefinisikan Ahlussunnah wal Jama`ah, yaitu teologi & fiqih. Namun, bila ditelusuri lebih lanjut melalui karya-karya KH. Hasjim Asy'ari, maka sebenarnya bisa diambil sebuah konklusi yaitu bahwa Ahlussunnah wal Jama`ah dalam dasarnya lebih pada pola keberagaman bermadzhab pada generasi muslim masa kemudian yang relatif otoritatif secara religius.
