ChatGPT memiliki gaya penulisan yang tidak hanya berbicara panjang lebar tetapi juga cenderung mengikuti template yang memberikan style unik pada isinya yang tidak alami seperti manusia.
Kualitas yang tidak alami ini terungkap dalam perbedaan antara bagaimana manusia dan mesin menjawab pertanyaan.
Film Blade Runner memiliki adegan yang menampilkan serangkaian pertanyaan yang dirancang untuk mengungkapkan apakah subjek yang menjawab pertanyaan adalah manusia atau android. Pertanyaan-pertanyaan ini merupakan bagian dari tes fiksi yang disebut "Voigt-Kampff test". Salah satu pertanyaannya adalah:
"Anda sedang menonton televisi. Tiba-tiba Anda sadar ada semut di lengan Anda. Apa yang akan Anda lakukan?" Respon normal manusia akan mengatakan sesuatu, berjalan keluar dan memukul semut, dan seterusnya.
Tetapi saat saya mengajukan pertanyaan ini ke ChatGPT, ia menawarkan jawaban yang sangat terorganisir dengan baik yang meng-summarizes pertanyaan dan kemudian menawarkan beberapa kemungkinan hasil yang masuk akal -- gagal untuk menjawab pertanyaan sebenarnya.
6. ChatGPT Terlalu Detail dan Menyeluruh
ChatGPT dilatih dengan cara memberikan hadiah pada mesin saat manusia merasa puas dengan jawabannya. Orang yang memberi rating biasanya lebih menyukai jawaban yang detail. Namun, seperti dalam konteks medis, jawaban yang langsung lebih baik daripada yang menyeluruh. Ini berarti mesin perlu dibimbing untuk tidak terlalu menyeluruh dan langsung menjawab pertanyaan karena kualitas itu lebih penting. OpenAI:
"These issues arise from biases in the training data (trainers prefer longer answers that look more comprehensive) and well-known over-optimization issues."
7. ChatGPT Berbohong (Menghayal Fakta)
Penelitian yang disebutkan, How Close is ChatGPT to Human Experts?, mencatat bahwa ChatGPT memiliki kecenderungan untuk berbohong.
Laporan tersebut menyatakan:
"Ketika menjawab pertanyaan yang membutuhkan pengetahuan profesional dari bidang tertentu, ChatGPT membuat fakta-fakta untuk memberikan jawaban...
Misalkan dalam pertanyaan hukum, ChatGPT mungkin menciptakan beberapa ketentuan hukum yang tidak ada untuk menjawab pertanyaan.
