Benteng Pendem ini didirikan sejak tahun 1861. Benteng ini dibangun bertahun-tahun dan baru selesai pada tahun 1879. Benteng ini kemudian jadi benteng penjagaan milik Belanda di wilayah selatan bersama dengan Benteng Cepiring, Benteng Karang Bolong, dan Benteng Klingker.
Adanya benteng ini juga seiring dengan semakin ramai dan populernya Pelabuhan Cilacap masa itu. Pelabuhan Cilacap merupakan salah satu pelabuhan perdagangan di Jawa. Infrastrukturnya kemudian makin dilengkapi untuk mendukung sistem tanam paksa dan proyek jalan Daendels.
Ada cerita bahwa benteng ini dulunya adalah salah satu benteng yang dibangun pada masa Pakubuwono IV, sebelum kemudian dibangun lagi oleh pemerintah kolonial Belanda.Â
Setelah Jepang mendarat di Jawa maka benteng ini juga pindah kepemilikan ke Jepang. Setelah Indonesia merdeka, tempat ini digunakan oleh TNI Banteng Loreng untuk berlatih namun kemudian sempat terbengkalai.
Pada waktu ditemukan kondisinya memang banyak yang tertimbun tanah. Setelah dibersihkan maka benteng ini dibuka ke masyarakat umum sebagai tempat wisata sejak tahun 1986. Berdasarkan rumor, masih ada bagian benteng yang masih terpendam tanah.
Sebelum tiba di obyek wisata utama atau benteng, kami disambut oleh rusa-rusa, ada mainan anak dan patung-patung dinosaurus berukuran besar. Kemudian ada sungai yang cukup lebar dan bukit pengintai.
Benteng itu kemudian mulai terlihat. Oleh karena pengunjung sudah mulai sepi dan ada banyak pepohonan di sini maka suasana kuno benteng ini nampak terasa. Untung matahari masih cukup terang sehingga bangunan ini tidak terasa begitu angker.
Bangunan benteng di samping kami adalah sebuah barak. Kalau melihat penampakan bangunannya, bahan-bahan bangunannya dulu pastinya berkualitas, bagus, tebal, dan kuat, sehingga masih awet hingga sekarang. Ada tahun tercantum di situ, tahun 1870. Seratus empatpuluhdelapan silam.
