Disaat terjadi peperangan antara Kerajaan Rajagaluh dan Pasukan dari Cirebon yang dipimpin oleh Syekh Syarif Hidayatullah, maka pasukan Cirebon beristirahat di suatu daerah sambil mengintai kekuatan pasukan Rajagaluh maka daerah itu dinamakan Panoongan (noong (bahasa sunda)) yang dalam bahasa sunda berarti tempat pengintaian yang saat ini diabadikan disempurnakan menjadi salah satu nama desa di Kecamatan Palimanan yaitu “Panongan”. Sedangkan perang itu sendiri terjadi di gunung petot yang sekarang menjadi salah satu sumber daya alam untuk bahan baku batu alam, semen dan lain-lain. Akhirnya peperangan tersebut dimenangkan oleh pasukan Syekh Syarif Hidayatullah.
Sementara itu peninggalan yang bersejarah di desa Panongan antara lain :
1. Masjid Kramat “Al-Karomah”
2. Banyu Perkulaan yeng berkhasiaat bagi anak balita yang telat berjalan
3. Rebana (Genjing Besar) yang disimpan oleh salah satu sesepuh desa Panongan
4. Poslen dari Cina
5. Bedug Besar, bedug yang sekarang terdapat di desa Panongan adalah bedug hasil penukaran dari Keraton Kasepuhan Cirebon, karena bedug yang asli buatan yang bersamaan dengan Masjid Panongan itu memiliki keistemewaan yang berbeda dengan bedug yang lainnya pada umumnya. Bedug tersebut apabila dipukul akan terdengar nyaring dan terdengar jauh. Oleh karena itu, pihak keratin kasepuhan Cirebon menukar bedug asli yang di desa Panongan dengan bedug yang terdapat di Keraton Kasepuhan Cirebon.
Keunikan dari asal-usul yang lain dari sejarah terbentuknya desa Panongan adalah adanya jaka bawuk dan perawan sunti (jejaka dan perawan yang tidak pernah menikah). Jaka bawuk dan perawan sunti adalah hasil kutukan dari para wali yang sedang membangun Masjid Keramat Panongan. Kutukan tersebut muncul karena terganggunya pembuatan Masjid yang pada saat itu para wali menargetkan selesai pada malam itu juga. Namun, karena adanya salah satu perawan yang sedang membersihkan kapuk, pada saat itu kapuk berterbrangan yang juga menimbulkan ayam jago berkukuk Karen pantulan kapuk dan cahaya bulan. Hal tersebut beakibatkan berhentinya proses pembuatan Masjid Al-Karomah yang seharusnya selesai pada malam itu juga. Namun dikarenakan insiden tersebut Pembuatan Masjid diselesaikan. Dan para wali mengutuk siapa saja yang mengganggu pembuatan Masjid maka apabila seorang perawan maka dia akan tidak pernah menikah atau disebut dengan sebutan Perawan Sunti dan apabila seorang laki-laki akan tidak pernah menikah atau disebut dengan sebutan Jaka Bawuk.