Untuk mempertahankan eksistensinya di kawasan pulau-pulau Selatan Daya, Gubernur VOC di Banda waktu itu Johan van Dam mengirim 11 orang serdadu ke Pulau Kisar. Â Tepatnya tanggal 14 Agustus 1664 para serdadu tersebut mendarat di Pulau Kisar dengan menggunakan kapal Deck Lerck. Â
Misi utama dari kehadiran para serdadu VOC ini, yakni untuk mengantisipasi pergerakan Portugis yang mau meperluas wilayah kekuasaan dari Pulau Timor (yang kini masuk wilayah Republik Demokratik Timor Leste) ke Pulau Kisar dan pulau-pulau lainnya yang berada dalam kontrol VOC.
Kesebelas orang serdadu VOC tersebut berasal dari family (marga) yang berbeda-beda, di antaranya:
- Ruff
- Wouthyusen
- Joostensz
- Lerrick
- Peelman
- Lander
- Caffin
- Coenradi
- Bellmin-Belder
- van Delsen, dan
- Schelling
Dengan mendapat izin dari penguasa setempat, para serdadu ini membuat tempat tinggal di kawasan Kota Lama (dekat dengan Lokasi cikal bakal Benteng Delfs Haven).Â
Raja Wonreli yang berkuasa di daerah itu menerima dan mengutus satu marga untuk bergabung yaitu Bakker, sehingga ada 12 marga yang menghuni kawasan Kota Lama yang keturunannya sampai saat ini masih bisa ditemui di Pulau Kisar.
Kurang lebih satu tahun semenjak tiba di Pulau Kisar, tepatnya tanggal 16 Juli 1665 VOC memulai pembangunan sebuah Benteng yang diberi nama "Delfs Haven von Sueden". Benteng dengan bentuk segi empat ini merupakan satu dari dua benteng peninggalan VOC di Pulau Kisar. Â
Ukuran panjang benteng 29,5 meter dan lebar 21,5 meter dilengkapi dengan dua buah bastion di sudut barat daya dan timur laut. Â Benteng ini berfungsi sebagai sebagai pusat pemerintahan, markas pertahanan , serta gudang logistik untuk makanan dan persenjataan. Terletak di posisi strategis di tengah pulau dan berada di ketinggian mengindikasikan bahwa benteng ini memiliki peran sebagai pengawas kota.
Seiring berjalannya waktu para serdadu VOC ini mulai melakukan melakukan interaksi yang lebih dalam dengan warga lokal Pulau Kisar. Terjadi pernikahan antara serdadu VOC dengan wanita-wanita Kisar dan mulai membentuk pemukiman di sekitar Benteng Delfs Haven. Proses akulturasi dan asimilasi yang terjadi dalam jangka waktu panjang ini memperkaya khazanah budaya di Pulau Kisar. Â
Tidak hanya sebatas itu, generasi-generasi yang terlahir dari perkawinan ini membawa sifat dan ciri-ciri fisik yang unik. Di dalam 1 keluarga ada yang membawa ciri fisik lazimnya ras Kaukasoid dengan kulit putih, mata biru, dan perawakan tinggi khas orang Eropa, namun ada juga yang memiliki ciri fisik lazimnya orang Maluku. Terkadang dalam 1 generasi tidak ada yang memiliki ciri fisik Kaukasoid, tapi  akan ada di generasi berikutnya.