Sekitar tahun 1924 K.H. Gholib mulai menelusuri daerah-daerah yang masih minim sentuhan ajaran islam. Salah satunya di desa Martapura, Balikpapan, Kalimantan ia bahkan mendirikan masjid dan pondok pesantren sebagai sarana mengembangkan ajaran islam. Meskipun dalam kondisi yang sederhana, dalam kurun waktu setahun pesantren yang sang Kiai dirikan berkembang cukup pesat.
Sedari lahir Gholib terbiasa hidup sederhana sebagai anak desa. Ayahnya K. Rohani bin K. Nursihan bahkan sudah meninggalkan Gholib untuk berperang melawan penjajah. Gholib kecil lahir di Desa Mojosantren, Krian, Sidoarjo, Jawa Timur. Lahir di masa-masa sulit membuat putra dari Muksiti itu tidak memiliki catatan sahih mengenai tanggal lahir. Beberapa sumber menyebutkan Gholib lahir tahun 1896---ada pula yang menyebut tahun 1899.
Tahun 1927 K.H. Gholib bersama istri bertolak ke Singapura. Di sana ia bertemu dengan M. Anwar Sanprawiro seorang perantau yang berasal dari daerah Pagelaran, Pringsewu, Lampung. Melalui Anwar ia mengetahui kabar mengenai program kolonisasi yang dilakukan Pemerintah Hindia-Belanda dengan mengirim orang-orang dari Pulau Jawa ke Lampung untuk membuka hutan dan berkebun di sana.Â
Sang Kiai yang saat itu berusia empat puluh tahunan, memutuskan untuk membeli tanah dan membangun rumah beserta masjid yang sederhana di desa Fajaresuk. Kelak sebelum ia berpindah ke daerah Pringsewu masjid yang telah dibangun diserahkan kepada warga setempat untuk lokasi kegiatan keagamaan.
Di pringsewu K.H. Gholib mendirikan rumah dan masjid yang berlokasi di sebelah utara Pasar Pringsewu. Masjid pertama yang berdiri di tanah Pringsewu itu dinamai Masjid Jami K.H.
Gholib. Di dekat rumahnya, K.H. Gholib juga mendirikan pesantren tempat belajar agama islam bagi masyarakat Pringsewu.
Bukan hal yang mudah memberi penyadaran agama kepada masyarakat yang awalnya hidup dalam budaya yang cukup jauh dari nilai-nilai agama. Namun lambat laun anak-anak dan remaja  hingga orangtua mulai belajar mengaji di di tempah K.H. Gholib. Mulai dari belasan anak hingga puluhan, bahkan sempat mencapai ribuan.
Berkat kesabaran dan ketekunan K.H. Gholib dan para kerabatnya yang membantu menjadi pengajar, pesantren K.H. Gholib menjadi terkenal dan berkembang pesat. Semakin banyak santri yang berdatangan untuk menimba ilmu. Jumlah santri diperkirakan pernah mencapai seribuan orang. Mereka datang tidak hanya dari daerah Lampung, tapi juga daerah lain seperti Jambi, Bengkulu, Sumatera Selatan, dan  Jawa.Â
Santri-santri K.H. Gholib yang dididik disiplin dan penuh kasih sayang terkenal fasih membaca Al Quran. Di samping belajar bahasa Arab, kegiatan yang bersifat seni dan budaya juga diajarkan seperti barzanji dan marhaban.
Tidak bisa dimungkiri, kehadiran sosok ulama K.H. Gholib membawa dampak yang begitu besar bagi masyarakat khususnya di Pringsewu hingga saat ini. Dibuktikan dengan banyaknya pondok pesantren, sekolah, hingga perguruan tinggi berbasis agama islam di ibukota kabupaten yang saat ini dikenal sebagai kota pendidikan itu.
