Akan halnya Istana Buitenzorg, terus mengalami pengembangan dan penambahan fasilitas, seiring dengan pergantian gubernur jenderal Hindia Belanda yang menjabat. Dan tak sekadar menjadi rumah singgah, Istana Buitenzorg kemudian dijadikan salah satu kediaman resmi gubernur jenderal Hinda Belanda mulai tahun 1870.
Salah satu yang pemandangan khas di istana Buitenzorg, adalah keberadaan rusa tutul yang berkeliaran bebas di halaman depan istana. Â
Hadirnya rusa tutul tersebut bermula dari upaya memperindah halaman istana oleh Gubernur Jenderal Herman Willem Daendels. Pada tahun 1811, gubernur jenderal yang dikenal dengan ide visioner jalan raya pos-nya ini, mendatangkan enam pasang ruas tutul dari perbatasan Nepal-India. Â
Kemudian rusa-rusa tersebut berkembang biak sampai dengan saat ini, dan menghadirkan pemandangan yang berbeda dengan istana lainnya di Indonesia. Keberadaan rusa-rusa itu seperti serasi dengan pepohonan besar di halaman luas Istana Buitenzorg, yang menunjukkan bersatunya bangunan modern dengan alam.
Kemudian, Gubernur Jenderal Sir Thomas Stanford Raffles asal Inggris, mempunyai ide untuk memanfaatkan halaman belakang Istana Buitenzorg yang luas untuk dijadikan kebun botani yang ditanami oleh bibit-bibit pepohonan dari seluruh penjuru dunia.
Konsep kebun botani ini terinsiprasi dari London Kew Garden di Inggris. Dan diresmikan pada 18 Mei 1817 oleh Profesor Caspar Georg Karl Reinwardt, seorang guru besar sejarah alam di Universitas Harderwijk, Belanda.
Paleis Buitenzorg pun menjadi kediaman favorit para gubernur jenderal yang silih berganti menjadi kepala pemerintahan di Hindia Belanda. Meskipun lokasinya terpaut 60 kilometer dari Batavia. Â
Usai resmi dijadikan kediaman gubernur jenderal pada 1870, dibangunlah jalur kereta api Batavia-Buitenzorg pada tahun 1873, yang mempersingkat waktu tempuh antar kedua wilayah menjadi hanya sekitar 2 jam saja, tidak lagi sehari penuh seperti sebelum adanya rel kereta. Â
Apalagi terdapat dua stasiun yang lokasinya tak jauh dari Istana Buitenzorg dan Istana Rijswijk (sekarang Istana Negara), yakni Stasiun Buitenzorg (sekarang Stasiun Bogor) dan Stasiun Batavia Koningsplein (sekarang Stasiun Gambir).
Singkat cerita, usai kemerdekaan Indonesia pada 17 Agustus 1945 dan penyerahan kedaulatan penuh pada Indonesia dalam Koneferensi Meja Bundar tahun 1949, Paleis Buitenzorg pun diserahkan secara resmi kepada Pemerintah Indonesia.
Fungsi bangunan pun tetap tak berubah, alias masih menjadi salah satu tempat tinggal resmi bagi kepala negara, dengan nama Istana Kepresidenan Bogor.
