Pada awal abad 20, di tengah-tengah berdirinya berbagai organisasi politik maupun masyarakat bermunculan. Tak kalah, berdirinya Muhammadyah dan NU-pun turut memberi warna dalam perjuangan merengkuh kemerdekaan di era kebangkitan nasional dari tangan penjajah. Yang kemudian terbentuknya berbagai organisasi seperti PII, MIAI, Masyumi, Hizbulloh, Sabilillah, dan Markas Ulama Angkatan Perang Sabil (MUAPS) tak lepas dari peluh keringat yang keluar dari lelahnya perjuangan para tokoh Muhammadiyah dan NU yang memiliki andil besar dalam usaha untuk meraih kemerdekaan dan mempertahankannya.
Ketika Kyai Hasyim Asy'ari belajar di Mekkah, terjadi gerakan reformasi pembaharuan pemikiran Islam yang dilancarkan oleh Muhammad Abduh yang menarik perhatian seluruh umat muslim di dunia, termasuk santri-santri Indonesia yang sedang belajar di Mekkah, salah satunya KH. Achmad Dahlan. Gerakan reformasi ini, pertama mengajak umat Islam untuk memurnikan ajarannya dari pengaruh dan praktek keagamaan yang bukan dari Islam. Kedua, reformasi pendidikan di tingkat universitas. Ketiga, mengkaji dan merumuskan kembali doktrin Islam agar disesuaikan dengan kebutuhan-kebuthan kehidupan modern. Keempat, mempertahankan eksistensi Islam.
Gagasan ini diserukan untuk memenuhi kebutuhan kehidupan modern, serta supaya umat Islam kembali memegang tanggung jawab yang lebih besar pada aspek pendidikan, politik, dan sosial. Gagasan ini yang menjadi sebab umat muslim  untuk  melepaskan dari keterikatan kepada pola pikiran Imam Mazhab, serta agar umat muslim untuk meninggalkan segala bentuk praktek sufisme di tarekat-tarekat. Maka terjadilah pro dan kontra di kalangan umat muslim terhadap pemikiran Muhammad Abduh. Maka pada kalangan santri yang pro dengan gagasan tersebut kembali ke Indonesia dengan mengembangkan gagasan-gagasan tersebut, salah satunya Kyai Achmad Dahlan, yang mendirikan Muhammadiah pada 18 November tahun 1912. Organisasi Islam modern yang berfokus pada dunia pendidikan. Namun, secara individu dari anggotanya juga berperan aktif di bidang politik.
Beberapa kontribusi Muhamadiyah adalah ketika pembentukan Partai Islam Indonesia (PII). Setelah terbentuk, PII menuntut Indonesia berparlemen dengan Belanda, menuntut Belanda untuk memperluas hak-hak politik dan kemerdekaan pers. Dalam bidang agama, PII menuntut  penghapusan peraturan yang menghambat Islam dan penghapusan subsidi bagi semua agama. Pada bidang lain-pun PII memiliki tuntutan yang banyak kepada pemerintah Belanda. Alhasil, tahun 1939, PII sudah memili 41 cabang dan pada tahun berikutnya sudah menjadi 125 cabang dari hasil kampanye untuk menarik anggota-anggota di seluruh Nusantara.
Ketika organisasi-organisasi Islam mengalami masalah yang sama, seperti penghinaan Nabi, hak waris, dan masalah tentang Palestina. Untuk menghadapi seperti permaslahan-permasalahan di atas, maka pimpinan NU dan Muhammadiyah memprakarsai rapat organisai-organisasi yang bercorak islam pada tanggal 18-21 September 1937 yang menghasilkan terbentuknya Majlis Islam A'la Indonesia (MIAI). Walaupun tujuannya tidak mengarah pada bidang politik praktis, namun telah tampak persatuan yang kuat di antara kaum muslimin.
Pasca meletusnya perang dunia II pada 8 Desember 1941 di Eropa antara NAZI Jerman dengan Sekutu, serta perang antara Jepang dengan Sekutu di Asia ketika tentara Jepang atau Dai Nippon tiba-tiba menyerang Pearl Harbour di Hawaii atau menyerang pangkalan Angkatan Laut Amerika Serikat terbesar di Pasifik. Perang Dunia II dikenal dengan perang pasifik atau Perang Asia Timur Raya.
Dai Nippon mendarat di Tarakan, Kalimantan Timur pada 10 Januari 1942 dan berhasil menguasai daerah-daerah sekitarnya, seperti Balikpapan, Pontianak, dan Banjarmasin. Dan tidak perlu waktu lama, Jepang berhasil menguasai Asia Timur dan Asia Tenggara.
Sejak awal Jepang sudah menyadari pengaruh besar ulama sebagai pemimpin umat Islam di tengah rakyat Indonesia. Oleh karenanya, sejak awal Jepang menaruh simpati kepada para pemimpin Islam, bahkan sebelum kedatangannya di Indonesia. Misalnya, pendirian masjid pertama di Kobe tahun 1935, kemudian di Tokyo pada 1938, serta pembentukan Dai Nippon Kaikyo Kyokai atau Perserikatan Islam Jepang yang dipimpin oleh Jendral Senjuro Hayashi. Dan pada tanggal 5-29 November 1939 mengadakan pameran Islam di Tokyo dengan mengundang MIAI. Dengan memberi simpati kepada ulama, maka mereka berharap bisa menanamkan pengaruh dan pikiran serta paham fasisme. Mereka juga membentuk Shumubu (Kantor Departemen Agama) di ibukota, serta membuka cabang-cabangnya di seluruh kota yang dikenal Shumuk.
Kyai Hasyim Asy'ari juga pernah menjadi pemimpin pada tahun 1944. Kebijakan yang dikeluarkan oleh Jepang jelas berbeda dengan kebijakan dari Belanda. Organisasi yang bercorak Islam, seperti MIAI mampu bergerak lebih leluasa dari pada masa penjajahan sebelumnya. Hal ini menguntungkan Indonesia. Namun setelah menimbulkan kecurigaan pada pihak Jepang, akhirnya tokoh-tokoh MIAI ditangkap, seperti Kyai Hasyim Asy'ari, kya Mahfud Siddiq. Alhasil, rakyat berontak dan Jepang mengakui kesalahannya. Setelah itu, Jepang memberikan kantor kepada MIAI serta mendapatkan izin untuk menerbitkan majalah.
Kebijkan pada Jepang memang berbeda dengan kebijakan pemerintah Belanda. Seperti, sandaran politik pada masa kolonial adalah priyayi dan bangsawan, sedangkan pada masa Pemerintahan Jepang Islam-lah yang menjadi sandaran politiknya. Hal ini sangat mempengaruhi kehidupan politik di Indonesia.
Tatkala Jepang melihat keberadaan MIAI hanya menguntungkan Indonesia, maka MIAI dibubarkan. Setelah itu, dua organisasi besar, yakni NU dan Muhammadiyah masih bisa membuat wadah baru untuk menampung orang-orang yang mau berjuang, yaitu dengan mendirikan Masyumi (Majlis Syuro Muslimin Indonesia) yang disahkan oleh pemerintah Jepang pada tahun 1943 yang diketuai oleh Kyai Hasyim Asy'ari. Bersatunya NU dengan Muhammadyah menjadikan organisasi yang baru dibentuk semakin kuat. Faktor Jepang mengesahkan partai ini, karena Jepang mulai kewalahan dalam bertahan pada Perang Pasifik dan berharap Masyumi bisa membantu banyak. Walapun berdirinya Masyumi di bawah pengaruh Jepang, Namun para tokoh Masyumi mampu mencover pengaruh itu, supaya Masyumi bisa berjalan sesuai dengan tujuan awal didirikannya, yaitu sebagai wadah umat muslim untuk memperjuangkan kemerdekaan.
