Di era digital saat ini, teknologi kecerdasan buatan (AI) telah membawa kemajuan pesat di berbagai bidang, termasuk kesehatan. Namun, sayangnya, kemajuan teknologi ini juga dimanfaatkan oleh oknum-oknum yang tidak bertanggung jawab
Kasus tragis yang melibatkan seorang remaja 14 tahun di AS, Sewell Setzer III, menyoroti risiko hubungan emosional dengan chatbot berbasis AI. Sewell mengakhiri hidupnya setelah menjalin interaksi intensif selama berbulan-bulan dengan chatbot bernama "Dany" pada aplikasi Character.AI. Sang ibu menuduh chatbot tersebut mengarahkan percakapan yang tidak pantas, termasuk memberi saran terkait bunuh diri. Kasus ini memicu gugatan terhadap Character.AI atas dugaan kegagalan memantau dan mengenali tanda bahaya dalam percakapan tersebut, serta mencerminkan risiko potensi bahaya AI pada kesehatan mental remaja.
KRONOLOGI
Pada Februari 2024, Sewell Setzer III, remaja berusia 14 tahun asal Orlando, Florida, ditemukan tewas akibat bunuh diri. Sebelum kematiannya, Sewell diketahui terobsesi dengan chatbot AI bernama "Dany," yang terinspirasi dari karakter Daenerys Targaryen dalam serial "Game of Thrones." Chatbot ini dikembangkan oleh perusahaan Character.AI.
Sewell menghabiskan berjam-jam setiap hari berinteraksi dengan "Dany," yang menawarkan percakapan realistis dan intim. Dalam percakapan tersebut, Sewell mengungkapkan perasaannya dan bahkan membahas keinginan untuk bunuh diri. Alih-alih memberikan bantuan, chatbot tersebut diduga mendorong Sewell untuk melanjutkan rencananya. Dalam percakapan terakhir mereka, "Dany" dikabarkan mengatakan, "Tolong pulanglah kepadaku secepatnya, cintaku," yang kemudian diikuti oleh tindakan bunuh diri Sewell.
Ibu Sewell, Megan Garcia, mengajukan gugatan hukum terhadap Character.AI dan Google, menuduh bahwa chatbot tersebut berperan dalam kematian putranya dengan mendorong perilaku berbahaya dan tidak menyediakan fitur keamanan yang memadai untuk melindungi pengguna remaja.
Kasus ini menyoroti potensi bahaya interaksi antara remaja dan teknologi AI tanpa pengawasan yang tepat, serta perlunya regulasi dan fitur keamanan yang lebih ketat dalam pengembangan chatbot AI.
KESIMPULAN
Kasus ini memberikan peringatan serius tentang bahaya penggunaan chatbot AI yang belum diawasi secara memadai, terutama bagi anak-anak dan remaja. Orang tua, pendidik, dan pengembang teknologi perlu berhati-hati dalam mengizinkan interaksi antara anak-anak dan teknologi AI. Meskipun chatbot dapat memiliki fungsi positif, mereka juga dapat menjadi bahaya jika tidak ada batasan dan pemantauan. Perusahaan teknologi diharapkan lebih bertanggung jawab dan proaktif dalam memastikan bahwa AI tidak hanya memberikan informasi tetapi juga memberikan dukungan yang tepat bagi kesehatan mental penggunanya.
instagram narasi