Akhirnya, di  Kampung Baru, yang terletak di antara Gunung Salak dan Gunung Gede didirikan bangunan dengan halaman yang luas. Inilah yang kemudian menjadi Istana Bogor. Di dekat Istana, kemudian dibangun fasilitas peribadatan gereja Zebaoth dan sebuah rumah sakit.
Saat Gubernur Jenderal Hindia Belanda Herman Willem Daendels  memimpin tahun 1808-1811,  ditambahkan dua bangunan sayap kiri dan sayap kiri di antara bangunan induk.
Daendels juga mendatangkan enam pasang rusa totol dari Nepal untuk memperindah halaman istana. Hingga kini, ratusan tahun setelahnya, rusa menjadi ciri Istana Bogor. Jumlahnya mencapai 600 ekor dan dibiarkan bebas berkeliaran di halaman.Â
Gubernur Jenderal Sir Thomas Stamford Raffles asal Inggris, yang menyukai bidang botani, kemudian menjadikan halaman belakang istana menjadi kebun botani. Saat ini, dinamakan sebagai Kebun Raya Bogor.
Sejak tahun 1870, Istana Bogor dijadikan tempat kediaman gubernur jendral Belanda. Tercatat ada 38 gubernur jendral Belanda dan satu gubernur Inggris yang pernah tinggal. Pada masa penjajahan  Jepang, tempat ini lebih difungsikan sebagai
markas tentara.
Akhirnya, pada tahun 1950,  setelah kemerdekaan RI, Istana Kepresidenan RI Bogor mulai digunakan oleh Presiden Soekarno  untuk kantor, menjamu tamu negara, dan tempat tinggal.
Domba dan Angsa Pak Presiden
Presiden ke-7 RI Joko Widodo juga menggunakannya sebagai tempat kediaman, setelah berkantor di Istana negara Jakarta, sore harinya ke Istana Bogor. Presiden tinggal di salah satu dari tujuh paviliun yang ada di dalam kawasan Istana Bogor.
Presiden Jokowi senang memelihara hewan. Terdapat sebanyak 10 domba, angsa, dan kodok di Istana Bogor yang sejuk. Pengunjung dapat melihat hewan peliharaan yang bebas berkeliaran itu. Haha, beberapa domba itu pipis di jalan aspal yang ada di depan bangunan sayap kiri Istana Bogor.
Dalam kunjungan Istura 2017, pengunjung dapat melihat dari luar ruang  Garuda Istana Kepresidenan Bogor, yang biasa digunakan untuk menyambut tamu kenegaraan. Di antara mereka baru-baru ini adalah Raja Salman asal Saudi Arabia dan mantan Presiden AS Barack Obama.
