Ketika Jepang masuk ke Hindia Belanda tahun 1942, PG Tanjung Tirto sudah ditutup. Seluruh warga kulit putih yang menempati rumah-rumah bergaya chalet pun sudah dipulangkan ke negaranya dengan meninggalkan harta benda yang sudah dimilikinya di Hindia Belanda.
Sekitar tahun 1950, pemilik pabrik sebelumnya berniat untuk membuka kembali PG Tanjung Tirto, tetapi betapa terkejutnya sang pemilik karena melihat bahwa pabriknya hanya tinggal puing-puingnya saja.
Ada kemungkinan bangunan pabrik gula ini dibumihanguskan oleh pejuang pada masa agresi militer Belanda II.
Tujuan membumihanguskan bangunan pabrik adalah agar tidak dijadikan markas militer oleh pasukan Belanda yang saat itu ingin kembali menjajah negeri yang baru saja merdeka.
Tapi status tanahnya masih milik Sultan", tutur pak Waluyo menjelaskan mengenai rumahnya dengan logat jawa yang masih kental.
Selain itu beliau juga menjelaskan bahwa kayu jati yang digunakan untuk rumahnya memang benar-benar jati pilihan dan masih asli, "belum pernah diganti", tandasnya sambil menunjuk ke atap rumah yang sedikit terkoyak gempa namun masih menunjukkan kekokohan kayu jati gelondongan di bagian tengah atap.
Hal ini dikarenakan bentuk bangunan pabrik tembakau sama sekali tidak menunjukkan bangunan kolonial dan menurut penuturan warga bahwa pabrik pengeringan tembakau ini berdiri sekitar tahun 1960.
Lalu dimanakah lebih tepatnya letak PG Tanjung Tirto?
Melihat dari peta lawas pada masa kolonial, letaknya kemungkinan ada di selatan pabrik pengeringan tembakau yang saat ini berupa lapangan luas. Â
