Dari dahulu kalanya memang kehidupan masyarakat pangkalan sangat suka untuk berdagang atau berniaga yang waktu itu masih melalui jalur sungai dengan menggunakan perahu. Sekitar tahun 1800-an para saudagar pangkalan yang kembali dari Sambas Kalimantan usai berdagang membawa 2 buah mimbar masjid melewati sungai siak, Riau. Satu buah mimbar untuk masjid Raya Pangkalan saat ini, dan yang satu lagi untuk masjid Raya yang ada di Pasar Bawah Pekanbaru, Riau karena kebanyakan warga masyarakat pangkalan merantau ke Pekanbaru, Riau waktu itu.
Mimbar yang di kirim ke pangkalan melalui sungai melewati nagari Taratak Buluah saat itu merupakan sebuah penghormatan pemberian hadiah bagi Raja Siak waktu itu.
Awalnya, arstitektur mesjid ini yang bergaya Bodi Caniago: atapnya berupa tungkuih nasi bersusun. Ini menandakan bahwa orang Koto Baru menganut kelarasan Bodi Caniago.
Namun seiring renovasi yang dilakukan arsitektur masjid berubah menjadi bergaya Eropa.
Saat ini Masjid berada di bawah jalan raya lintas Riau- Sumatera. Masjid ini menjadi tempat persinggahan untuk shalat para musafir atau traveler yang melewati lintas Riau-Sumatera Barat.