Mulanya Gereja Sion diperuntukkan bagi komunitas Madjikers, yakni tentara Portugis yang menjadi tawanan perang Belanda dari Guam, India, Filipina dan Malaka. Mereka dibawa ke Batavia oleh VOC, Â digabungkan dengan budak-budak dari Sulawesi, Bali dan Melayu. Â Keturunan kaum Madjikers ini masih dapat temui di Tugu, Semper, Jakarta Utara. Mereka sudah keturunan kesepuluh atau kesebelas.
Kala itu serikat dagang VOC menerapkan kebijakan wijkstelsel yakni menempatkan penduduk sesuai dengan etnis dan keturunannya di suatu kawasan tertentu.  Etnis Tionghoa dikumpulkan di Glodok. Orang Arab di Pekojan. Sementara para Madjikers menempati  sisi timur  kota, yakni di luar tembok Kota Batavia hingga Kampung Bandan.Â
Para tentara ini semula beragama Katolik. Pada 1661 ketika Joan Maetsuyker menjadi Gubernur Jenderal di Hindia Belanda (1653-1678), para Madjikers dibebaskan tetapi dengan satu syarat; "Kalian harus memeluk agama Protestan," kata Joan.
Tahun 1692 keluar keputusan untuk membangun gereja permanen. Gagasan ini didukung oleh Joan van Hoorn yang menjabat sebagai kerkmeester (pejabat gereja) dan Joan Lammertse Radder, Wakil Ketua Dewan Kota Batavia. 
Barangkali karena kedudukan van Horn inilah (ayahnya, Pieter Janszen, adalah penjual bubuk mesiu yang kaya-raya dan berpengaruh di Belanda) Â ia berhasil mendatangkan arsitek Fabriek Ewout Verhagen dari Rotterdam untuk merancang, memimpin dan menyelesaikan pembangunan gedung gereja. Para kaum Mardjikers menjadi kuli dan tukang.
Peletakan batu pertama oleh Joan  van Hoorn pada 19 Oktober 1693. Peresmiannya dilakukan pada hari Minggu, 23 Oktober 1695 dengan pemberkatan oleh Pendeta Theodorus Zas. Cerita tentang peristiwa ini masih dapat dijumpai pada sebilah papan yang ditempel di tembok Gereja Sion.
Mimbar AntikÂ
Bangunan gereja Sion berbentuk bangsal (hall church) persegi empat berukuran 24 x 32 meter persegi. Tingginya 22,5 meter. Pada bagian belakang terdapat bangunan tambahan berukuran 6 x 18 meter persegi. Gereja ini mampu menampung 500 orang jemaat.
Langit-langitnya berbentuk kubah, berjejer tiga memanjang dari muka ke belakang. Langit-langit itu disangga oleh enam tiang yang besar. Di atas keenam tiang itu dipasang kerangka dari balok-balok sepelukan orang dewasa. Saya membayangkan puluhan orang menarik dan memasangnya di atas. 
Begitu pula saat melihat mimbar yang diukir bergaya barok dengan kepala dan sayap malaikat di sekujur tubuhnya. Mimbar ini berbentuk cawan yang dibuat pada 1695 oleh Hendrik de Bruijn seorang tukang kayu yang mantan serdadu. Cawan ini barangkali ingin mengenang peristiwa Malam Terakhir, seperti dikisahkan dalam Alkitab.
Di tengah ruangan terdapat empat 'kandelaars", tempat lilin dari kuningan dengan lambang kota Batavia yang merupakan kenang-kenangan dari Christina Elisabeth Marci, putri dari Otto Frans Nicolaas dengan Catharina Elisabeth Roms Winkel dari Batavia, akhir abad ke-18.
