Berdasarkan ingatan penulis yang pertama kali ke Candi Badut pada tahun 1967 hanya melihat kerusakan di dinding luar bagian timur yang dipahat dengan sebuah tulisan aksara Jawa.
Pada tahun 1974, melihat pahatan pada lingga yoni. Melihat ejaan tulisan tersebut, perusakan ini terjadi sebelum 1971 sebab masih menggunakan ejaan yang belum disempurnakan.
Sungguh sangat disayangkan, sebuah cagar budaya peninggalan kebesaran kerajaan masa lalu telah dirusak oleh tangan-tangan jail.
Candi Badut bisa dikatakan satu-satunya candi yang tampak nyata telah dirusak oleh manusia jaman kini. Juga menjadi bukti dan alasan untuk membatasi pengunjung masuk ke bagian candi.
Kalau toh memang tetap diperkenan masuk dengan pembatasan tidak boleh membawa apa pun selain kamera. Semua untuk menjaga kelestarian Candi Badut dan candi-candi lainnya.
