Seorang pangeran dari China yang bernama Tan Bu An datang ke Palembang untuk menuntut ilmu. Setelah beberapa lama tinggal di Palembang, ia jatuh cinta dengan putri raja yang bernama Siti Fatimah. Maka ia datang ke rumah Fatimah untuk melamarnya. Orang tua Siti Fatimah menerima pinangan Tan Bu An dengan syarat Tan Bu An harus memberikan cinderamata.
Maka Tan Bu An mengirim utusan ke negerinya untuk meminta cinderamata dari ayahnya yang akan diberikan kepada raja. Tidak berapa lama utusan tersebut datang ke Palembang membawa sayur-sayuran serta buah-buahan. Tan Bu An terkejut dan marah sebab ayahnya tidak mengirimkan sesuai dengan apa yang ia minta yaitu guci, keramik, dan uang China.
Tan Bu An membuang semua muatan kapal ke Sungai Musi termasuk sayuran dan buah-buahan kiriman sang ayah. Ternyata uang China, Guci, dan Keramik yang ia harapkan ada di dalam tumpukan sayuran dan buah-buahan itu. Karena malu Tan Bu An ingin mengambil kembali yang sudah dibuangnya ke sungai musi. Setelah ditunggu beberapa lama Tan Bu An tidak muncul-muncul juga, ia tenggelam bersama sayuran dan buah-buahan tersebut.
Mendengar sang pujaan hatinya tenggelam, Siti Fatimah pun gusar. Dengan langkah pasti ia berlari ke Sungai Musi dan menenggelamkan dirinya menyusul calon suami yang ia cintai. Sebelum tenggelam Siti Fatimah berpesan "apabila ada tumbuh pohon di gundukan tanah tempat mereka tenggelam itu adalah pohon lambang cinta mereka berdua yaitu pohon cinta".
Setelah sang putri tenggelam, muncullah gundukan tanah dari permukaan sungai, yang sekarang menjadi awal mulanya delta Pulau Kemarau. Dan masyarakat setempat percaya bahwa gundukan tanah itu adalah nisan kedua pasangan itu dan memberikannya nama "Pulau Kemarau" yang memiliki makna meskipun Sungai Musi pasang, pulau ini tetep kering.
Masyarakat Tionghoa percaya bahwa roh leluhur mereka, Tan Bun An mendiami pulau kemarau. Maka setiap imlek tempat ini selalu ramai dikunjungi etnis Tionghoa untuk mengenang leluhurnya itu. Pada tahun 2006, dibangunlah pagoda yang nantinya akan digunakan sebagai tempat ibadat atau acara lainnya., sampai sekarang pagoda ini masih dalam tahap pembangunan