Di lahan yang sempit itu, tampak kekuatan dan kekokohan bangunan gedung yang terdiri dari asrama berlantai dua, surau besar juga berlantai dua.
Lalu, di bagian belakang berdiri pula asrama berlantai dua. Semuanya bangunan permanen, dan punya coran penyanggah kekuatan Pondok Pesantren Madrasatul 'Ulum Lubuk Pandan itu.
Semua bangunan permanen itu adalah pengganti surau dan asrama yang dulunya terbuat dari kayu. Perkembangan, bangunan kayu diganti dengan yang lebih kokoh.
Gempa 2009 yang melanda Ranah Minang, ikut merusak bangunan pesantren yang berdiri 1940 ini. Meskipun tak rusak berat, pengurus berkesimpulan untuk menukar dengan bangunan permanen.
Perjalan waktu, banyak dinamika dan cerita suka dan duka hadir di pesantren yang terletak di pinggir Sungai Batang Ulakan tersebut.
Datang dan pergi bagaikan silih berganti, tak menyurutkan minat masyarakat untuk mengantarkan anaknya untuk mengaji di pesantren berbasis surau itu.
Selesai di sana ada yang lanjut ke perguruan tinggi, ada pula yang diminta mengelola pendidikan masyarakat lewat sebuah surau kampung.
Sementara, tiap tahun ada yang datang untuk memulai perjalanan menuntut ilmu agama, lewat pesantren.
Mereka datang dari kampung yang terbilang jauh. Seperti dari Dharmasraya, daerah yang berbatasan dengan Jambi.
Ada pula santrinya dari Sijunjung, Tanah Datar, Agam dan sejumlah daerah lainnya.