Sebagai salah satu pulau pertahanan, Pulau Onrust kemudian dibangun lebih kuat. Dalam kurun waktu 1656-1671, VOC membangun benteng bersegi empat dan diperbesar menjadi benteng bersegi lima lengkap dengan bastion di tiap sudutnya. VOC juga membangun kincir angin sebagai salah satu keperluan dalam proses pengergajian kayu untuk membuat kapal pada 1674. Tujuh belas tahun kemudian dibangun lagi kincir angin yang kedua.
[caption caption="Replika kincir angin di Pulau Onrust (dok. pribadi)"]
Pulau Onrust menjadi saksi atas pertumpahan darah saat Inggris menyerang pada tahun 1800 dan 1810. Hampir semua bangunan yang ada di Pulau Onrust dirusak. Pulau Onrust, Pulau Bidadari, dan pulau-pulau kecil di sekitarnya direbut kembali ke pangkuan VOC dan mulai mendapat perhatian lagi pada tahun 1828.
Akibat padatnya lalu lintas manusia yang keluar dan masuk di Pulau Onrust, pulau ini pernah dilanda wabah lepra, malaria, dan pes yang parah. VOC pun kelimpungan mengatasi orang-orang yang terjangkit wabah mematikan tersebut. untuk itu, pembersihan besar-besaran pun dilakukan. Setiap orang yang akan memasuki Pulau Onrust harus disterilkan. Bahkan VOC membangun pagar anti tikus demi keselamatan mereka dari bahaya penyakit pes.
Pada periode 1911-1933, Pulau Onrust berubah fungsi menjadi tempat jamaah haji dikarantina. VOC kala itu takut jika jamaah haji membawa penyakit saat mereka pulang dari tanah suci. Para jamaah haji pun tinggal sementara di rumah-rumah panggung lengkap dengan fasilitas untuk mandi dan mencuci.
[caption caption="Yang tersisa dari pagar anti tikus yang pernah dibangun di Pulau Onrust (dok. pribadi)"]
[caption caption="Bekas pondasi asrama haji yang masih tersisa di Pulau Onrust (dok. pribadi)"]
Aura mistis memang sangat kuat saat berada di Pulau Onrust. Terutama saat melintas di antara makam-makam yang hingga saat ini masih terlihat dengan jelas. Selain makam orang Belanda, terdapat makam orang-orang yang terlibat dalam pemberontakan Zeven Provincien atau dikenal juga dengan “Peristiwa Kapal Tujuh”. Orang-orang tersebut ditawan selama periode 1933 hingga 1940.
Sejak Jepang menguasai Batavia pada 1942, Pulau Onrust beralih fungsi menjadi penjara bagi pelaku kriminal tingkat berat. Kondisi tersebut kembali berubah saat sekutu berusaha merebut kembali Indonesia yang telah merdeka. Selama periode September 1945 - Januari 1946, Pulau Onrust dijadikan tempat tawanan orang-orang Jerman yang ada di Indonesia, termasuk 6 orang awak U-Boat U-195.
[caption caption="Salah satu makam orang Belanda di Pulau Onrust (dok. pribadi)"]
Setelah masa kolonial berakhir, Pulau Onrust seakan menjadi tempat buangan. Hingga awal 1960-an pulau ini menjadi karantina bagi penderita penyakit menular di bawah pengawasan Departemen Kesehatan. Citra Pulau Onrust semakin memburuk saat periode 1960-1965 pemerintah menjadikan pulau ini sebagai tempat penampungan gelandangan dan pengemis.