Untuk lebih memperdalam 'ilmu agama, Muhammd Zainuddn remaja kembali berangkat menuntut 'ilmu ke Mekah diantar kedua orang tuanya, tiga orang kemenakan dan beberapa orang keluarga, termasuk pula TGH. Syarafuddn. Pada saat itu beliau berusia 15 tahun, yaitu menjelang musim Haji tahun 1341 H/1923 M. Sesampai di Tanah Suci, TGKH. Muhammad Zainuddin Abdul Madjid langsung mencari rumah kontrakan di Suqullail, Mekah.
Belajar di Masjid al-Haram
Beberapa saat setelah musim haji usai, TGH. Abd. Madjid mulai mencarikan guru buat anaknya. Sampailah pencarian TGH. Abd. Madjid pada sebuah halaqah. Syaikh yang mengajar ditempat tersebut bernama Syakh Marzq, seorang keturunan 'Arb kelahiran Palembang yang sudah lama mengajar mengaji di Masjd al-Harm, yang saat itu berusia sekitar 50 tahun. Disanalah Mauln Syikh TGKH. Muhammd Zainuddn Abdul Madjd diserahkan untuk belajar.
Selain itu juga sempat belajar 'ilmu sastra pada ahli syair terkenal di Mekah, yakni Syakh Muhammd mn al-Quthb dan pada saat itu berkenalan dengan Sayyd Muhsin Al-Palemban, seorang keturunan 'Arb kelahiran Palembang yang kemudian menjadi guru beliau di Madrasah al-Shaulatiyah.
Ketika ayah TGKH. Muhammd Zainuddn Abdul Madjd pulang ke Lombok, ia langsung berhenti belajar mengaji pada Syakh Marzq, karena ia merasa tidak banyak mengalami perkembangan yang berarti dalam menuntut 'ilmu selama ini, hal itu dikarenakan kehausan beliau akan ilmu. Namun, sebelum sempat mencari guru, terjadi perang saudara antara kekuasaan Syarf Husan dengan golongan Wahabi.
Belajar di Madrasah al-Shaulatiyah
Dua tahun setelah terjadinya huru hara tersebut, TGKH. Muhammd Zainuddn Abdul Madjd muda berkenalan dengan seseorang yang bernama Hajji Maward dari Jakarta. Dari perkenalannya itu ia diajak untuk belajar di madrasah al-Shaulatiyah, yang saat itu dipimpin oleh Syakh Salm Rahmatullh. Pada hari pertama masuknya ia bertemu dengan Syakh Hasan Muhammd al-Masysyth.
Madrasah al-Shaulatiyah adalah madrasah pertama sebagai permulaan sejarah baru dalam pendidikan di Arab Saudi. Madrasah ini sangat legendaris, gaungnya telah menggema di seluruh dunia dan telah menghasilkan banyak ulama-ulama besar dunia. TGKH. Muhammad Zainuddin masuk Madrasah al-Shaulatiyah pada tahun 1345 H (1927 M) yang waktu dipimpin (Mudir/Direktur), Syaikh Salim Rahmatullah yang merupakan cucu pendiri Madrasah al-Shaulatiyah. Sudah menjadi tradisi bahwa setiap thullab yang masuk di Madrasah Al-Shaulatiyah harus mengikuti tes masuk untuk menentukan kelas yang cocok bagi thullab. Demikian pula dengan TGKH. Muhammad Zainuddin, juga ditest terlebih dahulu. Secara kebetulan diuji langsung oleh Direktur al-Shaulatiyah sendiri, Syaikh Salim Rahmatullah dan Syaikh Hasan Muhammad al-Masysyath.
Hasil test menentukan di kelas 3. mendengar keputusan itu, TGKH. Muhammad Zainuddin minta diperkenankan masuk kelas 2 dengan alasan ingin mendalami mata pelajaran ilmu Nahwu dan Sharaf.Â
Semula Syaikh Hasan bersikeras agar TGKH. Muhammad Zainuddin masuk kelas 3, tetapi pada akhirnya melunak dan mengabulkan permohonan untuk masuk kelas 2 dan sejak itu TGKH. Muhammad Zainuddin secara resmi masuk Madrasah al-Shaulatiyah mulai dari kelas 2. Prestasi akademiknya sangat istimewa.Â
Beliau berhasil meraih peringkat pertama dan juara umum. Dengan kecerdasan yang luar biasa, TGKH. Muhammad Zainuddin berhasil menyelesaikan studi dalam waktu hanya 6 tahun, padahal normalnya adalah 9 tahun. Dari kelas 2, diloncatkan ke kelas 4, kemudian beliau pun loncat kelas lagi dari kelas 4 ke kelas 6, kemubeliaun pada tahun-tahun berikutnya naik kelas 7, 8 dan 9.
