Dahulu kala terdapat seorang syeh pengembara yang menyebarkan islam ditanah jawa, beliau bernama simbah kyai abdullah, dan beliaulah seorang yang pertama kali menyebarkan agama Islam di dalam dan sekitar kawasan Patemon, yaitu Simbah Kyai Abdullah atau biasa dipanggil Simbah kyai Cagak Luas termasuk orang-orang yang saleh . Dia adalah kakek dari Simbah Asror, makamnya sampai sekarang masih ramai dikunjungi bahkan para habaib,kyai,masyarakat dan para santri masih sering kesana untuk berziarah dan setelah kematiannya (Simbagi cajak luas), cucunya (Simbah Asror) meneruskan perjuanganya.
Simbah Kyai Asror juga seorang yang alim dan saleh. Simbah Kyai Asror juga yang pertama menyebarkan agama Islam di daerah Patemon ini dan merupakan murid dari Simbah Kyai Sholeh Darat (Semarang). Dialah yang menamakan desa Patemon ini dengan Desa Legoksari (walaupun legok-legok tapi tetap sari) Simbah Kyai Asror kemudian membangun sebuah masjid di desa Patemon ini yang diberi nama Masjid AlAsror seperti yang kita kenal sekarang, yang kemudian menjadi masjid. Di-retweet oleh Simbah Abu Karim, dll. Simbah Kyai Asror memiliki tiga orang anak: Simbah Kyai Wahab, Simbah Nyai Siti Khotidjah, Simbah Kyai Mustofa. Nyai Siti Khotidjah kemudian 3 menikah dengan Kyai Syamsuri (Girikusumo). Salah satu putrinya,
Simbah Siti Hajar Rohmah, kemudian menikah dengan Simbah Kyai Suratman. Simbah Kyai Asror meninggal sekitar tahun 1800-an. Simbah Kyai Suratman melanjutkan perjuangannya, setelah wafatnya simbah kyai suratman. Simbah kyai suratman melakukan pendidikan dimana mana waktu dulu ,dia tinggal bersama kakeknya setelah belajar ilmu agama islam , santrinya banyak bahkan dari kalngan manapun yg bertamu dan belajar agama dengan dirinya baik tentara, dokter ,polisi maupun kyai sekalipun, anaknya empat yaitu anak pertama yang bernama sonhaji, anak kedua yang bvernama mastur dan anak ketiga nya bernama kyai zubaidi ,kyai suratman berasal dari payaman dan tinggal bersama kakeknya kyai arsror yang disaat itu menjadi kyi besar disana, kyai suratman membangun sebuah pondom dengan bambu kecil kecilan yang sangat sederhana, banyak sekali yang menyantri dengannya dan kyai hasan munadi masih termasuk saudaranya Serbuah cerita mengisahkan adanya seseorang yang minta pertolongan kepada beliau, keinginan pria itu menjadi kenyataan melalui doanya, dan pria itu memberinya dengan Cuma cuma seekor sapi.
Dan adapun orang mengisahkan lagi, ada seorang laki-laki yang pingin sekali sebuah kerbau dengan imbalan lebih dari satu hektar tanah, pria ini sudah mengetahui kehebatan kerbaunya dan ingin menjadikan itu sebagai kerbaunya. Sebelum wafatnya beliau, Simbah Kyai Suratman mewasiatkan istrinya agar meemberkahkan segalanya untuk menjual harta benda untuk anakanaknya untuk mencari ilmu dipesantren. Beliau wafat tahun 1967, sedangkan Simbah Nyai Rohmah wafat sekitar tahun 1970-an. Jadi sebelum pondok pesantren assalafy Al Asror ini ada, dulu ada gubuk lain yaitu gubuk Simbah Kyai Suratman.
Sepeninggal Simbah Kyai Suratman, dan segala perjuangn tidak akn berhenti, dan segala perjuangannya dilanjutkan oleh putranya Simbah Kyai Zubaidi. 4 Penerusnya adalah simbah kyai zubaidi yang yang masa mudanya dulu ia lakukan dan habiskan di pesantren, dia mendirikan pesantren yang dulu pernah vakum karena meninggalnya mendiang ayahnya dan karena saudar saudaranya juga masih kecil, dia membangun pesantren dengan nama pesantren assalafy al asror yg dulunya hanya rumah kecil yang ditinggali sedikit santri pada tahun 1980 dulu pondoknya berada dibelakang asjid agak jauh sekitar 20 meteran seperti rumah biasa dan pondo putri yang berada didepan masjid langsung yang terbuat dari kayu, dengan semangat juang mbah kyai zubaidi akhirnya semuanya berjalan lancar.
Semakin lama akhirnya banyak orang yg ingin mencari ilmu dengan beliau, Simbah Kyai Zubaidi mendirikan sekolah tingkat menengah kebawah yaitu MTS. Yang terus maju sampai sekarang,dia mendirikan MA juga dan bahkan sekarang ada SMKnya juga yang dibangun oleh anaknya dan semuanya dinamai Al asror.
Agar tidak terpaku hanya dengan belajaar ilmu agama saja tapi juga belajar pelajaran umum jika di pesantren,pastinya lebih banyak pengajaran tentang keagamaan. Bisa dinamakan Al asror karena itu nama buyut dari kyai zubaidi yang duu memberi nama kawasan itu yang dulunya menyebarkan islam di desa tersebut ,dan anaknya kyai zubaidilah yang sekrang menggantikan dirinya sebagai penerus dan dia berasal dari lulusan pesantren jawa timur setelah kyai zubaidi mennggal Sekarang yang menjadi penerusnya adalah kyai almamnuhin kholid yang telah menerus pondok pesantren itu dan teru berkembang hingga sekarang, dia mendapat istri dari pekalongan dan mempunyai tida anak. Ia mengajarkan seluruh hal tentang agama yang dia tahu saat dulu mondok di jawa timur, dan pomdoknya sekarang mulai ramai akhirnya dibangunkan lagi pondok putra yang lebih bagus tapi masih sederhana dengan perjuangan dan iktiyar beliau. Dan karena seluruh perkembannya kahirnya beliau bisa mendirikan pesantrten putri yang lebih bagus karena perjuangannya dan dengan itu harus menjaga nama baik pondok kita untuk seluruh kemaslahatan dan kemajuan bersama serta mengikuti ngendiko kebaikan dari beliau.
Pondok pesantren al asror sekarang menjadi tempat menimba ilmu agama islam diwilayah patemon bukan hanya ilmu agama saja tapi dengan ilmu yang lain juga untuk penyeimbang, yang dilanjutkan oleh k.h al mamnuhin kholid dan perkembangannya sangat pesat hingga sekarang dan memiliki banyak santri yang terus bertambah setiap tahunnya, pesantren ini memiliki peranan besar dikampung patemon dalam aspek agama karena menjadi pusat pembelajaran agama islam didesa itu pada masanya