Setiap insan pasti mati, apabila kematian itu telah tiba-tiba masanya, tidak dapat ditawar-tawar lagi. Demikian pula halnya dengan beliau walaupun masyarakat masih membutuhkannya, sang anak tidak mau ditinggalkan sang ayah yang tercinta, tetapi Tuhan yang Maha Adil dan Maha Bijaksana segala sesuatu ada pada tangannya.
Setelah beberapa lama beliau menderita sakit dan masih ditakdirkan oleh Allah untuk dapat mengambil air wudhu dan sembahyang walaupun berbaring, serta disaksiskan oleh sebagian istri dan anak-anak beliau, wafatlah beliau dengan tenang pulang ke haribaan Allah Robbul Alamin, pulang pada siang hari Rabu 27 Sya'ban 1363 Hijriyah (16 Agustus 1944 Masehi).
Dengan disaksikan oleh  beratus-ratus dan beribu-ribu umat Islam dan dihadiri pula oleh pejabat-pejabat pemerintah jajahan Jepang dari Kabupaten Pandeglang dan hadir pula pejabat Jepang daerah Banten yang disebut Gun Saikan (Gunco) dan untuk memberi penghormatan pada beliau, pihak DKA (SS/PT KAI) tidak memungut biaya bagi orang yang akan menyaksikan penguburan itu, dikebumikanlah beliau di Cikaliung Sodong, Saketi-Pandeglang.
INNALILLAHI WAINNA ILAIHI ROJI'UN
Demikianlah kisah akhir hayat dan wafatnya KH Mas Abdurrahman yang ditulis oleh puteranya KH Nahid Abdurrahman. Masih banyak kisah-kisah lainnya yang beredar di kalangan masyarakat dan menjadi cerita yang sifatnya turun-temurun.
Dengan kewibawaan, intelektualitas, dan intelegensia yang dimiliki oleh sosok KH Mas Abdurrahman berhasil menjadikan Mathla'ul Anwar sebagai alternatif dan wahana gerakan renaissance (pencerahan).
KH Mas Abdurrahman telah berjasa dalam sumbangsih pemikiran keummatan dan kebangsaan. Ulama pejuang dan pemikir ini meninggal pada 1944 dan dimakamkan di Komplek Perguruan Mathla'ul Anwar Cikaliung, Saketi.
