Jenis-Jenis Pertanyaan Ujian yang Tidak Bisa Dijawab ChatGPT

Menjelang ujian tengah semester (UTS), dosen-dosen biasanya dikejar-kejar pihak administrasi pengajaran untuk menyetor soal ujian. Hari Sabtu kemarin atau puasa hari ketiga adalah batas waktu penyetoran soal UTS. Ada tahapan khusus untuk validasi, sebelum soal ujian diperbanyak dan diberikan kepada mahasiswa.

Ketika memikirkan soal ujian itu, terpikir juga chatGPT. Sejak November 2022 lalu, chatGPT menjadi jawara di dunia teknologi informasi dan komunikasi (TIK). Aplikasi berbasis web (chat.openai.com) ini menggunakan machine learning dan dilatih dengan big data.

Kemunculan chatGPT segera saja mengubah secara mendasar perilaku mencari data. Jika sebelumnya orang pada umumnya sangat tergantung pada Google Search, maka sekarang orang tinggal ngobrol (chat) di situs chatGPT. 

Baca juga: Ujian Tengah Semester dan ChatGPT di Bulan Puasa

Lalu, bagaimana caranya membuat pertanyaan ujian yang tidak bisa dijawab chatGPT? Sambil menyeruput kopi, jari jempol sudah beraksi melakukan screen walking di hp. Saya pilih berlayar di jagat Twitter dan menemukan beberapa cuitan (bukan ciutan, lho) tentang chatGPT dan sejenisnya.

Tulisan ini sebenarnya merupakan sebuah upaya agar tidak terlalu tergantung pada enaknya manfaat pemakaian chatGPT. Siapa sih yang tidak menyukai sesuatu yang enak? Apa lagi yang enak itu gratis? Kali ini, targetnya adalah chatGPT. 

Sebenarnya, sekarang ada banyak aplikasi-aplikasi lain sejenis chatGPT yang konon lebih canggih. Kelebihan aplikasi-aplikasi lain yang muncul belakangan, misalnya, adalah hasilnya memiliki sumber data (perplexity.ai), jenni.ai yang bisa meneruskan kalimat kita, atau rytr.me dan masih banyak lagi.

Nah, kita kembali ke judul tulisan ini. Mungkinkah chatGPT ---dengan machine learning yang canggih dan big data yang dimilikinya--- tidak bisa menjawab perintah (prompt) atau pertanyaan tertentu? Tidak perlu repot mencari jawaban ke Google search, kita tanya saja secara langsung ke chatGPT. Jawaban chatGPT, yaitu: 

Baca juga: Kuliah Pertama: Sebaiknya Menarik, tetapi Santai di Zaman ChatGPT

Sebagai sebuah model bahasa alami, saya memiliki keterbatasan dalam hal pengetahuan dan pemahaman. Beberapa jenis pertanyaan yang mungkin sulit bagi saya untuk jawab meliputi:

Baca juga: Mengapa Mahasiswa Meminta Kisi-Kisi Soal Ujian?

1. Pertanyaan yang memerlukan pengetahuan spesifik dalam bidang tertentu yang saya tidak terlatih atau tidak memiliki akses ke informasi terbaru.

2. Pertanyaan yang memerlukan pemahaman konteks sosial atau budaya yang sangat spesifik, seperti pertanyaan tentang tradisi atau praktik kebudayaan tertentu yang tidak ada dalam database saya.

3.Pertanyaan yang memerlukan penilaian atau pendapat pribadi, seperti pertanyaan tentang preferensi atau nilai subjektif yang berbeda antara individu.

4. Pertanyaan yang memerlukan pengalaman langsung atau interaksi fisik, seperti pertanyaan tentang pengalaman sensorik atau emosional yang tidak dapat saya rasakan.

5. Pertanyaan yang mengandung unsur kejahatan atau melanggar kode etik, seperti pertanyaan tentang cara melakukan tindakan ilegal atau yang membahayakan.

Namun, saya akan berusaha memberikan jawaban yang seakurat mungkin berdasarkan pengetahuan dan pemahaman yang telah saya pelajari dari data yang ada pada database saya.

Apakah kita menerima saja jawaban chatGPT, tanpa berpikir kritis? Kita mulai dari tiga jenis pertanyaan terbawah. Dari jawaban di atas, jenis pertanyaan 3, 4, dan 5 bisa dipahami kemungkinan besar benar. 

ChatGPT tidak memiliki sisi kemanusiaan dari jawaban atas pertanyaan nomer 3 dan 4. Meski memiliki keterbatasan, ChatGPT memiliki kemampuan dalam membuat pertanyaan untuk mengumpulkan data melalui wawancara. 

Yang nomer 5 secara jelas berkaitan dengan isu keamanan internet dan seterusnya. Januari lalu,  chatGPT menolak memberikan informasi tentang cara scrapping data di Facebook, Instagram, atau Youtube. Ada alasan legalitas dan perlindungan data.

Berkaitan dengan jenis pertanyaan nomer 1 dan 2, chatGPT tampaknya masih bisa 'dibobol' alias ditembus, sehingga masih bisa memberikan jawaban. Nomer 1 mengenai pertanyaan spesifik di bidang tertentu mungkin yang sifatnya teknis atau lokal yang datanya belum diunggah di internet. 

Bahkan pertanyaan mengenai profil individu seseorang tidak selalu bisa dijawab chatGPT. Ketika saya tanyakan profil seorang Profesor muda di studi Hubungan Internasional, chatGPT malah memberikan jawaban ngawur.

Lalu, saya tanyakan contoh pertanyaan di bidang studi saya dan chatGPT menjawab: Apa saja faktor yang mempengaruhi kebijakan luar negeri Indonesia dalam kaitannya dengan kerjasama ASEAN? 

Tidak kurang akal, saya copy-paste contoh itu dan saya tanyakan balik ke chatGPT. ChatGPT ternyata bisa menjawab contoh pertanyaan itu. Jawaban bagus, tetapi cenderung common sense. Begitu juga dengan contoh pertanyaan nomer 2, chatGPT masih bisa menjawab. Jawaban bagus dan meyakinkan.

Mempertimbangkan semangat jaman (zetgeit) ini, saya mengambil beberapa sikap. Pertama, UTS bukan satu-satunya cara mengevaluasi kemampuan mahasiswa. Kedua, UTS tidak bersifat take-home exam (dikerjakan di rumah), tetapi mahasiswa menjawab soal di kelas dalam waktu terbatas. 

Ketiga, evaluasi perlu dilakukan dalam bentuk lisan melalui presentasi di kelas (bisa individu atau kelompok). Seperti di tulisan sebelumnya, evaluasi lebih ke pemahaman mahasiswa mengenai mengenai isu dalam bidang studi terkait dengan materi kuliah.

Selain ketiga jenis itu, evaluasi mahasiswa masih ada banyak lagi bentuknya, termasuk menulis dan presentasi tugas akhir. Intinya, sikap ini jauh dari rasa curiga atau, bahkan, berpikir negatif terhadap mahasiswa. Pada prakteknya, setiap dosen bisa berbeda menyikapi chatGPT. Kalaupun banyak mendukung atau tidak mempersoalkan chatGPT,  praktek mereka dalan bentuk pertanyaan untuk ujian bisa tetap berbeda 

Hingga sekarang, kampus-kampus masih banyak yang diam. Ada beberapa gerundelan, tapi belum mengerucut pada kebijakan mengenai larangan atau dukungan pada chatGPT. Sedangkan, pemerintahan berencana memasang pagar mengakses chatGPT. 

Hampir lupa dengan kopi di meja, saya seruput dulu. Segera saya edit dan upload ke Kompasiana.com menjadi tulisan ketiga di hari keempat bulan puasa 2023:) Terimakasih telah berkenan membaca.