11 Kelemahan ChatGPT dalam Pembuatan Konten

Wikismart.id-- ChatGPT telah menghasilkan konten yang komprehensif dan akurat. Namun, para peneliti, seniman, dan profesor memperingatkan tentang kekurangan yang harus diwaspadai yang menurunkan kualitas konten. Dalam artikel ini, kita akan melihat 11 kelemahan konten ChatGPT.

11 Kelemahan ChatGPT dalam Pembuatan Konten

1. Penggunaan Frasa Membuatnya Terdeteksi sebagai Bukan Buatan Manusia

Para peneliti yang meneliti bagaimana mendeteksi konten yang dihasilkan mesin telah menemukan pola-pola yang membuatnya terdengar tidak alami. Salah satu keanehan dalam AI adalah kesulitan dalam memahami idioms.

Idiom adalah frasa atau ungkapan dengan makna metaforik yang melekat padanya, misalnya "Tinggi hati = Sombong atau angkuh." Ketiadaan idioms dalam sebuah konten bisa menjadi tanda bahwa konten tersebut dibuat oleh mesin dan ini bisa menjadi bagian dari algoritma deteksi.

Dikatakan dalam laporan penelitian 2022 Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers tentang keanehan ini dalam konten yang dibuat oleh mesin:

"Fitur frasa yang kompleks didasarkan pada frekuensi kata dan frasa spesifik dalam teks yang dianalisis yang lebih sering terjadi dalam teks manusia.

...Dari fitur frasa kompleks ini, fitur idiom mempertahankan kekuatan prediksi terkuat dalam deteksi model generatif."

Ketidakmampuan untuk menggunakan idioms berkontribusi pada pembuatan output ChatGPT yang terdengar dan terbaca tidak alami.

2. ChatGPT Kurang Kemampuan Untuk Berekspresi

Seorang seniman mengomentari bagaimana output dari ChatGPT meniru apa yang disebut seni, tetapi kurang dari kualitas ekspresi seni.

Ekspresi adalah tindakan mengungkapkan pikiran atau perasaan. Output dari ChatGPT tidak berisi ekspresi, hanya kata-kata. Ia tidak dapat menghasilkan konten yang menyentuh orang secara emosional seperti yang dapat dilakukan oleh manusia -- karena ia tidak memiliki pikiran atau perasaan.

3. ChatGPT Tidak Menghasilkan Wawasan (Insight)

Seperti yang dikutip oleh The Insider, seorang akademisi mencatat bahwa esai akademis yang dihasilkan oleh ChatGPT kurang memiliki wawasan tentang topik tersebut. ChatGPT menjelaskan ringkasan topik tetapi tidak menawarkan wawasan unik tentang topik tersebut. Manusia menciptakan melalui pengetahuan, tetapi juga melalui pengalaman pribadi dan persepsi subjektif mereka.

Professor Christopher Bartel dari Appalachian State University dikutip oleh The Insider sebagai mengatakan bahwa meskipun esai ChatGPT mungkin memiliki kualitas tata bahasa yang tinggi dan ide-ide yang rumit, esai tersebut masih kurang wawasan. Bartel mengatakan: "Mereka sangat lembut. Tidak ada konteks, tidak ada kedalaman atau wawasan."

Wawasan adalah ciri khas dari esai yang baik dan inilah yang tidak dikuasai dengan baik oleh ChatGPT. Kekurangan wawasan ini perlu diingat ketika mengevaluasi konten yang dibuat oleh mesin.

4. ChatGPT Terlalu Berbelit-belit

Sebuah makalah penelitian yang diterbitkan pada Januari 2023 menemukan pola dalam konten ChatGPT yang membuatnya kurang cocok untuk aplikasi kritis.

Makalah tersebut berjudul, How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection.

Penelitian menunjukkan bahwa manusia lebih memilih jawaban dari ChatGPT dalam lebih dari 50% pertanyaan yang diajukan terkait dengan keuangan dan psikologi. Namun, ChatGPT gagal menjawab pertanyaan kedokteran karena manusia lebih memilih jawaban langsung -- sesuatu yang tidak diberikan oleh AI.

Peneliti menulis:

" ... ChatGPT memiliki kinerja yang buruk dalam domain medis baik dalam bahasa Inggris maupun Cina. ChatGPT sering memberikan jawaban yang panjang untuk konsultasi medis dalam dataset yang dikumpulkan, sementara seorang ahli langsung memberikan jawaban atau saran yang jelas."

ChatGPT cenderung mencakup topik dari berbagai sudut pandang, yang membuatnya tidak sesuai ketika jawaban terbaik adalah jawaban langsung.

Marketers yang menggunakan ChatGPT harus memperhatikan hal ini karena pengunjung situs yang membutuhkan jawaban langsung tidak akan puas dengan halaman web yang bertele-tele.

Jawaban yang singkat dan jelas dapat bekerja dengan baik di Google Voice karena memiliki kesempatan yang lebih baik untuk berada dalam peringkat daripada jawaban yang bertele-tele.

OpenAI, pembuat ChatGPT, mengakui bahwa jawaban bertele-tele adalah keterbatasan yang sudah diketahui. Bias ChatGPT terhadap jawaban yang terlalu bertele-tele adalah hal yang harus dipertimbangkan ketika menggunakan ChatGPT, karena Anda akan menemukan situasi di mana jawaban yang lebih pendek dan langsung itu lebih baik.

5. Isi ChatGPT sangat teratur dengan logika

ChatGPT memiliki gaya penulisan yang tidak hanya berbicara panjang lebar tetapi juga cenderung mengikuti template yang memberikan style unik pada isinya yang tidak alami seperti manusia.

Kualitas yang tidak alami ini terungkap dalam perbedaan antara bagaimana manusia dan mesin menjawab pertanyaan.

Film Blade Runner memiliki adegan yang menampilkan serangkaian pertanyaan yang dirancang untuk mengungkapkan apakah subjek yang menjawab pertanyaan adalah manusia atau android. Pertanyaan-pertanyaan ini merupakan bagian dari tes fiksi yang disebut "Voigt-Kampff test". Salah satu pertanyaannya adalah:

"Anda sedang menonton televisi. Tiba-tiba Anda sadar ada semut di lengan Anda. Apa yang akan Anda lakukan?" Respon normal manusia akan mengatakan sesuatu, berjalan keluar dan memukul semut, dan seterusnya.

Tetapi saat saya mengajukan pertanyaan ini ke ChatGPT, ia menawarkan jawaban yang sangat terorganisir dengan baik yang meng-summarizes pertanyaan dan kemudian menawarkan beberapa kemungkinan hasil yang masuk akal -- gagal untuk menjawab pertanyaan sebenarnya.

6. ChatGPT Terlalu Detail dan Menyeluruh

ChatGPT dilatih dengan cara memberikan hadiah pada mesin saat manusia merasa puas dengan jawabannya. Orang yang memberi rating biasanya lebih menyukai jawaban yang detail. Namun, seperti dalam konteks medis, jawaban yang langsung lebih baik daripada yang menyeluruh. Ini berarti mesin perlu dibimbing untuk tidak terlalu menyeluruh dan langsung menjawab pertanyaan karena kualitas itu lebih penting. OpenAI:

"These issues arise from biases in the training data (trainers prefer longer answers that look more comprehensive) and well-known over-optimization issues."

7. ChatGPT Berbohong (Menghayal Fakta)

Penelitian yang disebutkan, How Close is ChatGPT to Human Experts?, mencatat bahwa ChatGPT memiliki kecenderungan untuk berbohong.

Laporan tersebut menyatakan:

"Ketika menjawab pertanyaan yang membutuhkan pengetahuan profesional dari bidang tertentu, ChatGPT membuat fakta-fakta untuk memberikan jawaban...

Misalkan dalam pertanyaan hukum, ChatGPT mungkin menciptakan beberapa ketentuan hukum yang tidak ada untuk menjawab pertanyaan.

... Selain itu, ketika pengguna mengajukan pertanyaan yang tidak memiliki jawaban yang ada, ChatGPT juga mungkin membuat fakta-fakta untuk memberikan tanggapan."

Situs Futurism mencatat beberapa contoh konten yang dihasilkan mesin yang diterbitkan di CNET salah dan penuh dengan "kesalahan bodoh". CNET seharusnya tahu hal ini bisa terjadi, karena OpenAI mempublikasikan peringatan tentang output yang salah:

"ChatGPT kadang-kadang menulis jawaban yang terdengar masuk akal tetapi salah atau tidak masuk akal."

CNET mengklaim telah mengirimkan artikel yang dihasilkan mesin untuk diedit ulang oleh manusia sebelum dipublikasikan.

8. ChatGPT Tidak Alami Karena Tidak Diversifikasi

Paper penelitian, How Close is ChatGPT to Human Experts?, juga mencatat bahwa komunikasi manusia bisa memiliki makna tidak langsung, yang membutuhkan perubahan topik untuk dipahami. ChatGPT terlalu literal, yang menyebabkan jawaban kadang kala melewatkan tujuannya karena AI melewatkan topik yang sebenarnya.

Peneliti menulis:

"Jawaban ChatGPT secara umum fokus pada pertanyaan yang diberikan, sedangkan manusia diversifikasi dan mudah beralih ke topik lain.

Dalam hal kekayaan konten, manusia lebih diversifikasi dalam aspek yang berbeda, sementara ChatGPT lebih memfokuskan pada pertanyaan itu sendiri.

Manusia bisa menjawab makna tersembunyi dari pertanyaan berdasarkan akal sehat dan pengetahuan mereka sendiri, tetapi ChatGPT hanya bergantung pada kata-kata literal dari pertanyaan yang ada..."

Manusia lebih mampu diversifikasi dari pertanyaan literal, yang penting menjawab pertanyaan "apa tentang" jenis.

Misalkan, jika saya bertanya:

"Kuda terlalu besar untuk menjadi hewan peliharaan di rumah. Bagaimana dengan musang?"

Pertanyaan di atas tidak bertanya apakah musang cocok sebagai hewan peliharaan. Pertanyaan itu tentang ukuran hewan. ChatGPT fokus pada kesesuaian musang sebagai hewan peliharaan, bukan fokus pada ukuran.

9. ChatGPT Mengandung Bias Terhadap Neutralitas

Output dari ChatGPT pada umumnya neutral dan informatif. Ini adalah bias dalam output yang bisa terlihat bermanfaat tetapi kadang tidak bermanfaat. Laporan penelitian mencatat bahwa neutralitas adalah kualitas yang tidak diinginkan ketika menyangkut pertanyaan hukum, medis, dan teknis.

10. ChatGPT Bias dan Formal

Output ChatGPT memiliki bias dan menjawab dengan ekspresi biasa. Sebaliknya, jawabannya cenderung formal. Manusia, di sisi lain, cenderung menjawab pertanyaan dengan gaya santai, kadang bercanda, dan menggunakan bahasa sehari-hari.

Jawaban juga kurang memiliki contoh ironi, metafora, dan humor, yang bisa membuat konten ChatGPT terlalu formal untuk beberapa jenis konten.

Peneliti menulis: "...ChatGPT suka menggunakan konjungsi dan adverb untuk menyampaikan aliran pemikiran yang logis, seperti "Secara umum", "di sisi lain", "Pertama, ..., Kedua, ..., akhirnya" dan seterusnya.

11. ChatGPT Masih Dalam Proses Trial

ChatGPT saat ini masih dalam proses pelatihan dan peningkatan. OpenAI merekomendasikan agar semua konten yang dihasilkan oleh ChatGPT harus ditinjau oleh manusia.

OpenAI menyarankan untuk menjaga manusia dalam lingkaran:

"Dimana pun mungkin, kami merekomendasikan untuk memiliki tinjauan manusia sebelum mereka digunakan dalam praktik. Ini sangat penting dalam domain yang memiliki tingkat resiko tinggi, dan untuk pembuatan kode.

Manusia harus menyadari keterbatasan sistem, dan memiliki akses ke informasi yang dibutuhkan untuk memverifikasi output (misalnya, jika aplikasi menyimpulkan catatan, seorang manusia harus memiliki akses mudah ke catatan asli untuk dapat mengacu kembali)."

Kualitas Tak Diharapkan Dari ChatGPT

Jelas bahwa ada banyak masalah dengan ChatGPT yang membuatnya tidak cocok untuk pembuatan konten yang tidak diawasi. ChatGPT mengandung bias dan gagal menciptakan konten yang terasa alami atau berisi wawasan sebenarnya. Pengguna harus menerapkan prompt yang rinci untuk menghasilkan konten yang lebih baik daripada konten default yang dihasilkan ChatGPT.

Terakhir, tinjauan manusia atas konten yang dihasilkan mesin belum cukup, karena konten ChatGPT dirancang untuk terlihat benar. Itu berarti pentingnya tinjauan seorang ahli dalam bidang tertentu untuk membedakan antara konten yang benar dan salah pada topik tertentu.

TERKAIT: Cara Mengatasi Layanan Google Play Terhenti