Masjid CengHo digagas oleh PITI Sumatra Selatan setelah para pemimpin cabangnya mengunjungi rekan-rekan mereka di Surabaya yang sudah mendirikan Masjid ChengHo.
Masjid Al-Islam Muhammad Cheng Hoo di Palembang, diluncurkan tahun 2008, merupakan masjid kedua bergaya Tiongkok, setelah Masjid CengHo Surabaya. Cerita pendirian Masjid CengHo ini diabadikan dalam sebuah monument di halaman Masjid.
Masjid ChengHo Palembang dibangun di atas tanah seluas 4.990 m2, hibah dari Syarial Oesman yang kala itu menjabat gubernur Sumatra Selatan.
Masjid dengan bangunan utama seluas 40m2 ini memiliki dua lantai.Â
Lantai pertama digunakan untuk jamaah laki laki, sedangkan lantai dua digunakan khusus untuk jamaah perempuan.Â
Secara keseluruhan bangunan masjid ini mampu menampung sekitar 500 jamaah.
Suasana di dalam masjid terasa sejuk dan nyaman kendati ruangan tak dilengkapi pendingin udara tapi hanya kipas angin.Â
Hal ini dimungkinkan karena keberadaan roster (lubang angin) pada bagian atas pintu.Â