Pada tahun 1920, perusahaan yang bergerak di bidang ekspor-impor tersebut telah berkembang menjadi sebuah firma Hindia-Belanda yang besar. Cabang-cabangnya terdapat di Taiwan, Cina, Eropa, Amerika dan hampir di seluruh Indonesia.
Ketika krisis ekonomi yang melanda dunia pada tahun 1930-an, perusahaan yang didirikan oleh Djoen Eng yang pada mulanya jaya ini tak luput dari kebangkrutan. Karena tidak dapat melunasi seluruh hutangnya, maka seluruh kompleks istana Djoen Eng disita oleh De Javasche Bank. Sejak saat itulah, bangunan megah dengan lima buah kubah tersebut tak lagi berpenghuni.
Pada tahun 1940, De Javasche Bank menawarkan bangunan tersebut kepada kongregasi FIC dengan harga yang sangat rendah. Karena harga yang ditawarkan sangat rendah maka FIC berminat untuk membelinya, walaupun saat itu belum ada rencana sama sekali tentang rencana penggunaan gedung megah tersebut.
Pada masa pendudukan Jepang, kompleks bangunan megah tersebut berubah fungsi menjadi kamp interniran. Pada masa revolusi, bangunan megah tersebut sempat dijadikan sebagai markas polisi dan tentara Indonesia.
Kemudian antara tahun 1946 sampai dengan tahun 1949, bangunan tersebut dijadikan tangsi militer oleh Belanda. Barulah pada tahun 1949 bruder-bruder FIC mulai menempatinya. Gedung utama dimanfaatkan sebagai bruderan dan asrama anak-anak SMP (Hingga tahun 1966). Sedangkan di bagian belakang gedung dimanfaatkan sebagai SMP Pangudi Luhur (Hingga tahun 1974).
Pada tanggal 12 Mei 1968, kompleks bangunan megah istana Djoen Eng direnovasi secara menyeluruh. Atap bangunan dengan menara dan keempat kubahnya yang sangat unik tersebut dipotong total. Perubahan secara radikal juga terjadi pada lantai dua. Hasil dari perombakan bangunan tersebut bisa kita lihat seperti saat ini.
Bersamaan dengan runtuhnya keempat kubah yang unik tersebut sebutan “Djoen Eng” diganti dengan sebutan “Roncalli”. Nama “Roncalli” diambil dari nama Paus Yohanes XIII 1958-1963, dengan nama aslinya adalah Angelo Guiseppe Roncali.
Dulu ketika kompleks istana ini dibangun luasnya mencapai 12 ha, maka sekarang luasnya hanya tinggal 3,5 ha saja. Pada tahun 1975, areal kebun di bagian selatan didirikan SMP Pangudi Luhur.
Setahun setelahnya, tanah yang berada di luar pagar dengan luas 6 ha diambil alih oleh pemerintah. Pada tahun 1992, sebagian kebun kopi dibagian utara dibeli oleh kongregasi MSF untuk didirikan Noviat. Pada tahun 1995, sebagian dari tanah tersebut dibangun untuk gedung baru Bruderan.
Memang bahwa Istana Djoen Eng yang masih tegak berdiri hingga saat ini bukanlah Istana Djoen Eng yang dulu. Sudah banyak perubahan yang terjadi pada gedung ini, termasuk kubah yang menjadi ciri khasnya.
Akan tetapi, oleh pemiliknya sekarang beberapa bagian gedung dibiarkan masih seperti aslinya. Bagian-bagian tersebut adalah ruang makan, ruang rekreasis, interior gedung, tiang-tiang pergola di taman, serta gardu yang berwarna merah menyala yang merupakan corak khas Tionghoa yang semuanya masih berupa wujud aslinya. Kondisi dari kompleks Istana Djoen Eng masih terawat dengan baik hingga saat ini.
