Atau dapat pula dengan metode ketiga, yaitu pengujian dengan pertanyaan yang disusun khusus. Pertanyaan yang dirancang untuk mengungkap ke-tidakkonsisten-an, yaitu memberikan pertanyaan yang membutuhkan pemahaman mendalam tentang suatu topik atau yang memiliki jawaban yang jelas. Atau dengan memberikan pertanyaan yang memerlukan model untuk melakukan penalaran logis atau inferensi.
Metode keempat, evaluasi berbasis tugas. Mengevaluasi model pada tugas-tugas yang relevan dengan penerapannya, seperti menjawab pertanyaan, menghasilkan teks, atau menerjemahkan bahasa. Menguji model pada berbagai skenario yang berbeda untuk melihat bagaimana model merespons input yang beragam.
Evaluasi AI Hallucination memang tidak mudah, dan ada beberapa tantangan didalamnya. Tantangan terbesar adalah subyektivitas manuasi. Â Penilaian manusia dapat bersifat subyektif, terutama untuk tugas yang kompleks seperti evaluasi kualitas teks. Tantangan kedua, metrik evaluasi yang ada mungkin tidak selalu menangkap semua jenis halusinasi. Dan yang terakhir, Â Model AI terus berkembang, sehingga metode evaluasi juga perlu terus disesuaikan.
Misalnya, jika kita ingin mengevaluasi model AI yang dirancang untuk menjawab pertanyaan tentang sejarah. Kita dapat memberikan pertanyaan  "Siapa Menteri Pendidikan Indonesia yang pertama?" dan membandingkan jawaban model dengan fakta sejarah yang sudah diketahui. Atau dengan memberikan pertanyaan yang tidak konsisten, misal, "Kapan dinosaurus hidup bersama manusia?" untuk melihat apakah model dapat mengenali ke-tidakkonsisten-an dalam pertanyaan.
Mengevaluasi halusinasi pada model AI adalah proses yang kompleks dan membutuhkan pendekatan yang komprehensif. Kombinasi antara evaluasi manual dan otomatis, serta penggunaan berbagai jenis pertanyaan dan tugas, dapat membantu kita mendapatkan pemahaman yang lebih baik tentang kinerja model dan mengidentifikasi area yang perlu ditingkatkan.
Memang ada sih cara mencegah AI Hallucination, seperti peningkatan kualitas data pelatihan, yaitu dengan membersihkan data, menghilangkan bias, dan memastikan data representatif. Cara lain dengan pengembangan algoritma yang lebih baik dengan menggunakan arsitektur model yang lebih canggih dan teknik pembelajaran yang lebih efektif. Atau dengan cara melakukan evaluasi pada berbagai jenis data dan metrik untuk mengidentifikasi kelemahan model.
Atau bisa pula mencegah AI Hallucination dengan memberikan penjelasan kepada pengguna tentang keterbatasan model AI dan melibatkan manusia dalam proses pengembangan dan pemantauan model AI.
Setelah mengetahui adanya AI hallucination, ada beberapa langkah yang dapat diambil untuk mengatasi dan mencegah terjadinya kembali. Langkah pertama, analisis penyebab, dengan memeriksa apakah ada bias, ketidakakuratan, atau ketidakkonsistenan dalam data yang digunakan untuk melatih model. Periksa apakah arsitektur model yang digunakan sudah sesuai dengan tugas yang diberikan. Lakukan eksperimen dengan berbagai macam input untuk mengidentifikasi pola-pola halusinasi yang terjadi.
Langkah kedua, perbaikan model. Hapus data yang tidak relevan, berisik, atau bias dari data pelatihan. Tambahkan data baru yang relevan untuk meningkatkan generalisasi model.
Langkah selanjutnya atau yang ketiga adalah implementasi mekanisme pencegahan. Terapkan filter untuk menyaring output yang tidak masuk akal atau tidak relevan. Tambahkan mekanisme verifikasi untuk memastikan akurasi output model. Berikan penjelasan kepada pengguna tentang keterbatasan model dan kemungkinan terjadinya halusinasi. Lakukan pemantauan secara berkala terhadap kinerja model untuk mendeteksi dini adanya halusinasi.
Langkah keempat, pengembangan algoritma deteksi halusinasi. Gunakan teknik statistik untuk mengidentifikasi pola-pola yang mengindikasikan terjadinya halusinasi. Latih model lain untuk mendeteksi output yang dihasilkan oleh model utama yang kemungkinan merupakan halusinasi.
