Maka, sesuai dengan hasil musyawarah, Petta Soppeng mengirim utusan yang dipimpin oleh H. Kittab, Kadhi Soppeng Riaja, untuk menemui Anregurutta H. M. As'ad di Sengkang. Utusan ini membawa permohonan agar Anregurutta H. M. Â As'ad mengizinkan Gurutta H. Abdurrahman Ambo Dalle untuk membuka dan memimpin MAI di Mangkoso. Awalnya permohonan itu ditolak karena Anregurutta H. M. As'ad tidak mengizinkan ada cabang madrasahnya. Sebelumnya, beberapa daerah sudah mengajukan permintaan yang sama tetapi ditolak oleh Anregurutta H. M. As'ad. Namun setelah melalui negoisasi yang panjang dan alot, akhirnya permohonan Arung dan masyarakat Soppeng Riaja dapat dikabulkan.
Hari Rabu tanggal 29 Syawal 1357 atau 21 Desember 1938 Gurutta H. Abdurrahman Ambo Dalle hijrah dari Sengkang ke Mangkoso bersama anggota keluarga dan beberapa orang santri seniornya. Setiba di Mangkoso beliau langsung memulai pengajian dengan sistem Halakah (mangaji tudang) karena calon santri memang sudah menunggu. Semua fasilitas telah disiapkan oleh Petta Soppeng. Setelah pengajian berlangsung selama dua puluh hari, pada hari Rabu 20 Zulkaidah 1357 H atau 11 Januari 1939 Gurutta Haji Abdurrahman Ambo Dalle membuka madrasah dengan tingkatan Tahdiriyah, Ibtidaiyah, I'dadiyah, dan Tsanawiyah.
Â
MAI dalam Masa Penjajahan           Â
Dalam masa penjajahan Belanda, kegiatan MAI Mangkoso tidak pernah mengalami tekanan dari pemerintah.Hal itu karena pemerintah Kerajaan Soppeng Riaja adalah bagian dari struktur pemerintahan Belanda (Zelfbestuur, Under Afdeling Barru, Afdeling Pare-Pare). Segala aktivitas pesantren berada dalam perlindungan Arung Soppeng Riaja yang memang menjadi sponsor utama MAI Mangkoso.
Namun, tidak demikian halnya ketika berada di bawah penjajahan Jepang. Jepang mendarat di Makassar pada tanggal 9 Februari 1942. Tidak lama kemudian Jepang menduduki seluruh Sulawesi Selatan. Masuknya penjajah baru ini membuat proses belajar mengajar terganggu. Pemerintah Jepang mengawasi dengan ketat setiap sekolah serta melarang orang untuk berkumpul-kumpul karena aktivitas seperti itu dapat memancing tentara sekutu yang sedang mempersiapkan serangan balasan. Aktivitas seperti itu juga dikuatirkan dapat memobilisasi massa untuk mengadakan perlawanan terhadap penjajah Jepang.
Untuk menghadapi kondisi seperti itu, AG. H. Abdurrahman Ambo Dalle mengambil inisiatif agar pelajaran yang sebelumnya dilakukan di dalam kelas, dipindahkan ke mesiid dan rumah-rumah guru. Kaca daun pintu dan jendela masjid dicat hitam agar pada malam hari cahaya tidak tembus ke luar. Setiap kelas dibagi dan diserahkan kepada seorang guru secara berkelompok dan mengambil tempat belajar di mana saja asal dianggap aman dan bisa menampung semua anggota kelompok. Sewaktu-waktu pada malam hari dilarang menggunakan lampu, terutama saat tentara Sekutu mulai melancarkan serangan balasan terhadap tentara Jepang. Dengan cara demikian, madrasah dan pesantren tetap berjalan. Bahkan dalam suasana seperti itu, MAI Mangkoso membuka lagi satu tingkatan, yaitu Alimiyah pada tahun 1944. Demikianlah keadaannya sampai Jepang menyerah pada Sekutu pada pertengahan tahun 1945.
     Â
MAI dalam Masa Westerling
Kemerdekaan yang diproklamasikan pada tanggal 17 Agustus 1945, dengan cepat beritanya tersebar ke luar Jakarta dan Pulau Jawa, termasuk ke Sulawesi Selatan melalui radio, surat kabar, dan dari mulut ke mulut. Dua orang bangsawan, Andi Pangerang Petta Rani dan Andi Sultan Daeng Raja, sangat besar peranannya dalam menyebarkan berita kemerdekaan. Keduanya mengirimkan pesan-pesan pemberitahuan kepada raja-raja dan bangsawan berpengaruh di Sulawesi Selatan yang pada umumnya adalah keluarga dekatnya. Berita kemerdekaan itu disambut dengan berbagai sikap, tetapi pada umumnya rakyat memberi dukungan. Hal itu terlihat dari sikap mereka ketika menolak kehendak Belanda yang berusaha mengembalikan kekuasaan kolonialnya di Indonesia, termasuk di Sulawesi Selatan. Ketika Belanda yang membonceng pada tentara Sekutu (NICA) mulai melakukan tindakan kekerasan untuk memaksakan kehendaknya, rakyat Sulawesi Selatan mengorganisasikan diri melakukan perlawanan. Lahirlah berbagai lasykar perlawanan rakyat seperti Gapri (gabungan Pemberontak Rakyat Indonesia) 531 Mandar berpusat di Baruga-Majene dipimpin oleh H.M. Jud Pance dan isterinya Hj. Maemunah, BPRI Pare-Pare, Gerakan Muda Bajeng yang dipimpin oleh Ranggong Daeng Romo, Ganggawa Andi Tiammi, Andi Mattalatta, dan sebagainya.
Untuk menghadapi perlawanan rakyat tersebut, pasukan westerling meningkatkan aksi kekerasan. Terjadilah pembantaian dan pembunuhan di berbagai daerah terhadap rakyat yang dituduh ekstrimis dibawah komando Kapten Westerling. Peristiwa itu dikenal dalam sejarah sebagai Peristiwa Korban 40.000 jiwa di Sulawesi Selatan.
