Namun karena lantainya lebih rendah dan dalam kondisi becek dipenuhi air serta aroma lembab yang menimbulkan bau kurang sedap kami urungkan niat menjelajah bagian bawah bangunan ini.
Di bagian lain, ada lagi sebuah lorong panjang yang lebih gelap dan di ujungnya ada sebuah pintu dan cahaya cukup terang. Ada beberapa anak tangga sebelum pintu itu, namun lantainya dalam kondisi rusak dan tergenang air. Â Rasanya lebih tidak mungkin lewat di sini kecuali mau berbasah-basah.
Akhirnya kami naik ke lantai atas melalui tangga yang ada di kedua sisi bangunan.  Dari bagian atas  ini kami dapat memandang keseluruhan bangunan dan halaman belakang  dengan lebih leluasa.Â
Di luar tembok kompleks hanya terlihat ujung ujung pepohonan dan atap rumah yang bertingkat. Sementara di dalam bangunan suasana mistis tetap mendominasi.
Kemudian saya keluar dan naik menuju jalan Wonocatur yang ternyata merupakan  pintu depan situs ini. Barulah saya sadar bahwa situs ini sebagian besar terletak di bawah jalan. Ada dua papan informasi berisi nama situ sebagai cagar budaya dan peringatan denda bagi yang merubahnya.  Â
Dari jalan, bangunan ini hanya berupah bangunan besar dan kokoh setinggi sekitar dua meter dengan warna kuning kehitaman yang memberikan kesan angker dan penuh misteri.
Konon situs  ini dulunya merupakan salah satu pesanggrahan peninggalan sultan Hamengkubuwono II bersama situs Warung Boto yang nasibnya serupa dengan Situs Goa Siluman.Â
Tidak jelas asal-usul mengapa dinamakan Goa Siluman, mungkin karena sempat dianggap sebagai tempat angker dan keramat oleh penduduk sekitar.
