Dalam sejarah, Daendels ini dikenal sebagai sosok bengis yang memerintahkan penduduk Jawa untuk membangun Jalan Raya sepanjang 1.000 kilometer dari Anyer sampai Panarukan.
Sudah mulai dibangun beberapa tahap, pada waktu itu Daendels meminta Sultan Syaifuddin untuk meneruskan proyek pembangunan jalan dan meminta ribuan tenaga, juga untuk membangun pelabuhan armada Belanda di Teluk Lada.
Namun Sultan Syaifuddin dengan tegas menolak permintaan itu. Bukan hanya sampai di situ, Syaifuddin bahkan memancung kepala Du Puy, utusan Daendels.
Dan kepala Du Puy dikirimkan ke Daendels. Melihat itu Daendels sangat marah.
Daendels lalu memerintahkan anak buahnya untuk menghancurkan Keraton Kaibon dan Keraton Surosowan.
Itulah cikal bakal reruntuhan kedua keraton seperti yang disaksikan sekarang ini.
Saat ini para wisatawan masih dapat menyaksikan sisa gerbang dan pintu-pintu besar yang ada di dalam kompleks Keraton Kaibon. Berbeda Keraton Surosowan yang sudah rata dengan tanah.
Sebuah ruangan persegi empat yang dulunya diperuntukkan sebagai kamar Ratu Aisyah juga masih dapat disaksikan.
Keraton Kaibon ini unik. Karena di sekeliling keraton ini adalah saluran air.
Bangunan ini seolah-olah memang dibangun di atas air. Semua jalan yang akan memasuki keraton ini baik lewat depan maupun belakang harus melewati air dulu.
Gerbang depan keraton yang terdiri dari 5 pintu menandakan bahwa itu kewajiban umat Islam untuk melakukan sholat 5 waktu.
