Pertama, faktor musim dan lingkungan. Pergantian musim hujan dan kemarau menjadikan bangunan candi yang tak terawat sejak dulu itu mudah lapuk. Struktur batu bata mudah runtuh. Selain itu, tumbuhnya beberapa pohon di sela-sela batu-bata candi ikut merusak susunan candi. Batang dan akar akan memudahkan susunan batu bata mudah runtuh.
Kedua, faktor manusia. Sungguh menyedihkan, pasca tragedi G 30 S 1965, terjadi pengrusakan candi oleh kelompok masyarakat yang menganggap Candi Deres seringkali digunakan untuk melakukan ritual. Mereka menganggap ritual tersebut wujud tradisi syirik. Maka, mereka pun menghancurkan candi. Modus seperti ini juga banyak terjadi di kawasan lain.Â
Kepada putra dan istri, saya mengatakan bahwa sentimen karena ketidaktahuan dan kebencian terhadap tradisi yang berbeda dari tradisi agama yang umum merupakan faktor yang bisa memunculkan naluri destruktif, bahkan terhadap bangunan bersejarah yang memiliki nilai penting dalam penyelidikan masa lalu Majapahit.Â
Selain itu, mereka yang merusak candi mengidentikkan praktik ritual dengan ideologi komunis yang dikatakan tidak mengakui Tuhan, ateis. Padahal, komunisme tidak sama dengan ateisme. Banyak warga yang menjadi anggota PKI ataupun simpatisan PKI adalah orang-orang yang beribadah sesuai dengan agama dan keyakinan masing-masing.Â
Selain itu, faktor manusia yang lain adalah tindakan sebagian kecil warga yang mengambil batu bata dari Candi Deres untuk membuat bangunan serta adanya tindakan pencurian oleh pencuri barang antik. Tindakan seperti itu juga banyak menimpa situs purbakala atau peninggalan kerajaan di wilayah lain. Dampaknya, bangsa ini kehilangan harta peradaban yang tak ternilai harganya.
Padahal, dari keberadaan Candi Deres dan peninggalan-peninggalan lain di kawasan Jember dan sekitarnya, anak-anak dan generasi muda bisa belajar banyak hal. Mereka bisa belajar peristiwa sejarah yang mengubungan wilayah dan masyarakat di Jember dengan kebesaran kerajaan Mapajahit.Â
Candi Deres diduga menjadi persinggahan Hayam Wuruk ketika berjalan dari Lumajang menuju Puger. Pada masa lalu, Candi Deres terletak di kawasan Menampu (Puger). Dalam perkembangannya, Candi Deres secara administratif termasuk Desa Purwosari, terpisah dari Desa Menampu, tetapi keduanya masuk wilayah Kecamatan Gumukmas.
Tidak mungkin Raja Hayam Wuruk da berkunjung ke kawasan timur Jawa kalau wilayah ini tidak menyimpan kekuatan yang luar biasa. Dalam catatan Negarakertagama, di kawasan ini Hayam Wuruk melewati beberapa desa seperti Desa Sadeng dan Sarampwan  (Puger), Desa Balung, Kotta Blater (Ambulu), Desa Kotta Bacok (Watu Ulo/Ambulu), Desa Renes (Wirowongso/Jember), serta Desa Besini (Puger).Â
Kawasan timur Jawa yang sangat subur dan keberadaan desa-desa yang menjadi wilayah Majapahit merupakan kekuatan strategis yang harus dirawat agar tidak melakukan pemberontakan. Itulah mengapa Hayam Wuruk perlu melakukan muhibah ke wilayah yang sekarang menjadi beberapa kabupaten tersebut, yakni Lumajang, Jember, Banyuwangi, Bondowoso, dan Situbondo.Â
Selain itu, kawasan Candi Deres sejatinya bisa dikembangkan menjadi destinasi pariwisata sejarah yang merupakan wisata minat khusus. Seandainya bentuk candi masih relatif bagus, tentu banyak siswa dan mahasiswa yang bisa diajak berkunjung di mana mereka juga bisa mendapatkan informasi sejarah, budaya, dan pengetahuan.Â
Budaya dan pengetahuan bisa dikenalkan melalui model bangunan candi dan bahan batu bata yang sangat khas. Para pengunjung bisa diajak membayangkan dan memikirkan kehebatan para ilmuwan, seniman, dan teknokrat di masa Majapahit yang mampu membangun candi berbahan batu-bata dengan karakteristik lokal seperti patung dan relief.Â