Di Desa Sumber Agung sendiri kaya akan sejarah, salah satunya Sejarah goa Paseban yang dulunya merupakan tempat bersemedi karena terkenal dengan nilai spiritualnya. Goa Paseban merupakan salah satu goa yang terletak di Desa Sumber Agung kecamatan pracimantoro. Goa ini saat ini dipergunakan sebagai sumber mata air yang menghidupi seluruh desa sumber agung dan beberapa desa disekitarnya.
Goa ini memiliki sisi historis yang panjang menurut Ki Jaladara ( kuncen goa Paseban ) pada dahulu kala goa paseban dipergunakan sebagai tempat orang - orang mencari ilmu/ kesaktian untuk bertapa menurutnya goa ini memiliki sisi spiritual yang tinggi sehingga cocok digunakan untuk bertapa/ telasan. Beberapa tokoh sejarah juga pernah melakukan proses tapa brata di goa paseban ini.
