Asal mula pantai karang seke berawal dari adanya sepasang suami istri yang sudah tua umurnya dengan nama panggilannya aki seke dan nini seke. Mereka berdua menetap dikampug Tanjung panto, mereka mempunyai rumah gubug didekat pantai. Pada saat itu banyak pohon aren, pohon melinjo, pohon kelapa dan pohon sawo yang tumbuh disekitar Tanjung Panto. Aki seke dan nini seke ingin menanam jagung diladangnya, ternyata bibitnya tidak ada akhirnya nini seke meminta kepada aki seke untuk menanam batu karang dipantai.