Jangan dibayangkan peralatan tempurnya berupa senjata atau bedil. Alih-alih mesiu, yang ada malah batu kerikil yg di asma', kemudian dijadikan peluru ketapel. Konon, 'peluru' ini pernah berhasil menjatuhkan pesawat terbang milik Belanda.
Setiap kantung kerikil yg dibawa oleh pasukan hizbullah, dibawa kiai Fattah ke kamar untuk diriyadlohi. Begitu terus bergantian. Airpun bisa jadi senjata yang mematikan setelah diriyadlohi. Air yang diasma' Kiai Fattah apabila di sebarkan di jalan tempat Belanda lewat, maka tak lama, musuh yang melewatinya akan binasa.
Untuk kekuatan fisik, para pemuda diperintahkan untuk membawa sejumput gula dan beras, atau kacang hijau. Ketiganya setelah diasma', lantas dikonsumsi, bisa membuat daya tubuh bertumbuh sekian kali lipat dan membuat tubuh kebal peluru. Beras yang hanya beberapa genggam pun, nyatanya bisa memberi makan siapapun yang datang dengan niat tulus untuk berjuang.
Para santri ikut memasak, sementara yang lain mempersiapkan diri untuk menghadapi pertempuran. Rumah plus pesantren tak pernah sepi dari pasukan Hizbullah. Kekuatan yang mereka dapatkan selama ini berhasil mengacaukan pasukan Belanda di wilayah timur.
Taktik gerilya membuat Belanda seperti berperang melawan hantu. Sepi di siang hari, bergemuruh di malam hari. Belanda blingsatan. Mereka bergerak mencari markas pasukan hizbullah untuk menumpasnya. Situasi memanas, saat terdengar kabar Belanda sudah mendekati Kertosono membawa pasukannya.
Atas perintah bung Karno melalui Kiai Hasyim, Kiai Fattah bersama 40 orang kiai dari Jawa Timur memohon petunjuk pada Allah. Melalui uzlah di sebuah gua di dekat makam Ngliman di gunung Wilis selama 40 hari, para kiai berharap jalan keluar. Mereka disertai 2 santri yang bertugas untuk menjaga dan memasok makanan untuk buka selama masa uzlah. Ya, Kiai Fattah dan anggotanya dzikir dan berpuasa selama masa uzlah tersebut.
Hari demi hari mereka lalui untuk memohon petunjuk langit. Di tengah ujian kesabaran ini, tidak semua mampu bertahan. Satu demi satu para kiai mundur karena beratnya ujian yang dihadapi. Bukan hanya ujian fisik, tapi ujian gaib dalam bentuk gangguan makhluk tanpa rupa pun harus dihadapi tiap hari dalam wujud yang berlainan.
Hingga hari-hari terakhir, hanya Kiai Fattah yang bertahan hanya disertai santri tukang masak. Itupun tidak sampai akhir. Tinggallah Kiai Fattah sendirian. Di hari terakhir, petunjuk datang melalui ilham. Kiai Fattah diperintah untuk membaca ayat Hafidz. Ayat ini lah yang terus diritualkan Kiai Fattah dan jamaahnya. Percaya atau tidak, pasukan Belanda yang sudah sampai Kertosono tak pernah mampu menemukan dusun Nglawak. Dalam pandangan mereka, wilayah Kertosono dan sekitarnya diselimuti kabut yang menutup pandangan. Dan hingga perang berakhir, Belanda tak pernah berhasil menemukan markas pasukan hizbullah.
Bisa dibilang, Kiai Fattah adalah seorang figur kiai yang komplit. Salaf sekaligus moderat. Sebagai pengasuh pesantren, beliau setiap hari mengajar para santri menetap dan santri kalong melalui berbagai kitab klasik.
Di samping mengajar kitab standar seperti tafsir Jalalain, Sulam Safinah, Taqrib, beliau juga mengajar dan mempunyai koleksi lengkap Kutubus Sittah. Di samping itu, beliau juga membaca kitab AthThibb karya Ibnu Rusyd. Belum termasuk kitab-kitab kecil seperti Arbain untuk putra putrinya yang masih kecil.
Pada dasarnya, Kiai Fattah juga melayani permintaan siapapun yang datang untuk mengaji kitab dengan ragam topik sesuai permintaan mereka. Alkisah, pernah ada seorang  kiai datang sambil menyodorkan sebuah kitab. Beliau komplain atas penjelasan Kiai Fattah terhadap suatu masalah saat bersama murid-muridnya. Tamu tersebut dipersilakan duduk dan Kiai Fattah mendengarkan semua protesnya dengan sabar. Setelah puas mengeluarkan uneg-unegnya, Kiai Fattah pun menjelaskan bahwa kiai tersebut belum tuntas membaca keseluruhan kitab, sehingga maknanya belum sampai. Kiai Fattah menunjukkan di mana letak ketidaktelitian itu. Si tamu pun akhirnya mafhum, dan berterimakasih atas penjelasan Yai Fattah.
