Pada masa ini, benteng Rustenburgh masih berfungsi sebagai markas pertahanan. Selamjutnya di tahun 1807, benteng ini diambil alih Koninkrijk Holland atau Kerajaan Belanda di bawah gubernur Herman Willem Daendels.
Namun pada tahun 1811, benteng ini dikuasai oleh Inggris di bawah John Crawfurd atas perintah dari gubernur Thomas Stamford Raffles. Tahun berikutnya, tepatnya tahun 1812 benteng ini menjadi jalan para tentara Inggris serta pasukan sepoy ke dalam keraton Yogyakarta dalam peristiwa Geger Sepoy
Pada tahun 1867 terjadi gempa dahsyat yang mengguncang Yogyakarta, sehingga merobohkan cukup banyak bangunan disana, termasuk di dalamnya adalah benteng Rustenburgh.
Untuk itu, segera dilakukan pemugaran pada beberapa bagian bangunan serta benteng yang rusak. Setelah pemugaran selesai, benteng ini pun berganti nama menjadi Benteng Vredeburg yang menpunyai arti “Benteng Perdamaian”. Sejak saat itu, benteng ini berada dalam penguasaan pihak Belanda sampai akhirnya mereka menyerah kepada Jepang pada tahun 1942
Setelah Jepang berkuasa termasuk di kota Yogyakarta, benteng Vredeburg difungsikan sebagai pusat kekuatan tentara Jepang. Adapun tentara Jepang dengan markas pusat di benteng Vredeburg adalah Kempeitei bersama senjata serta amunisi nya.
Disamping itu, benteng Vredeburg juga dijadikan tempat penahanan para tawanan bagi orang-orang Belanda, Indo-Belanda, maupun orang-orang Indonesia yang ditangkap karena nelakukan suatu gerakan yang menentang pemerintahan Jepang. Penguasaan Jepang terhadap benteng Vredeburg berakhir pasca proklamasi kemerdekaan telah dibacakan di tahun 1945
Tahun 1945 setelah terjadinya proklamasi kemerdekaan, benteng ini diambil alih oleh militer Republik Indonesia sebagai asrama dan markas pasukan, serta menjadi gudang perbekalan senjata, mesiu, dan lain sebagainya.
Tahun 1948 ketika terjadinya Agresi Militer Belanda II, benteng Vredeburg dikuasai kembali oleh pihak Belanda sampai tahun 1949. Oleh pihak Belanda, benteng Vredeburg difungsikan sebagai asrama dan markas tentara yang termasuk pada IVG (Informatiee Voor Geheimen), yaitu sebuah dinas rahasia Belanda. Selain itu, benteng ini pun difungsikan sebagai tempat penyimpanan berbagai peralatan tempur
Benteng ini direbut kembali oleh pihak RI setelah meledaknya peristiwa serangan umum 1 Maret 1949 dalam rangka mengusir dan memukul mundur pihak Belanda. Pada 29 Juni 1949, benteng ini berada dalam penguasaan APRI yang kemudian diserahkan kepada Militer Akademi Yogyakarta. Dalam rentang waktu yang cukup panjang setelah itu, benteng Vredeburg pernah difungsikan sebagai tempat tahanan politik yang terkait dengan peristiwa G30 S
Pada tahun 15 Juli 1981, bangunan benteng Vredeburg ditetapkan sebagai cagar budaya dikarenakan dinilai sebagai bangunan bersejarah yang mempunyai arti besar bagi bangsa.
Sebagai tindak lanjut dari hal tersebut, tanggal 5 November 1984 dipertegas bahwa bangunan benteng Vredeburg itu akan dimanfaatkan sebagai museum perjuangan nasional, yang kemudian hal ini disetujui oleh Sultan Hamengku Buwono IX untuk dilakukannya berbagai perubahan tata ruang beberapa gedung di dalam kompleks benteng Vredeburg sesuai dengan kebutuhan sebagai sebuah museum.
