Pesantren yang dibangun sejak 1925 ini berawal dari sebuah musala Kiai Majid yang menanamkan nilai-nilai keislaman, mengajarkan ilmu syariat, hingga ilmu akhlak untuk pengamalan ibadah sehari-hari. Aktivitas pembelajaran pun seiring waktu berkembang menjadi sebuah pondok pesantren
Awalnya, nama pesantren ini adalah Pesantren Nyalindung. Namun, kemudian berganti nama menjadi Pesantren Al Majidiyah yang diambil dari nama pendirinya yakni Abdul Majid. Usai KH Abdul Majid wafat, pesantren ini kemudian dilanjutkan oleh penerusnya KH Sulaeman pada 1955 dengan membuka majelis ta'lim. Dan pada 1970, KH Sopandi mendirikan madrasah agama atau yang biasa dikenal madrasah diniyah taklimiyah.