Dua Skenario Musnahnya Manusia karena AI

Yang terjadi adalah manusia buruk dalam memerintah sebuah mesin, parahnya direspon mesin dengan teknologinya yang teramat kuat. 

Kesalahan perintah manusia terhadap mesin, menimbulkan kegagalan yang bisa berakibat fatal. Contohnya jika kita memerintahkan robot untuk membersihkan kaca cermin, ternyata yang dia lakukan malah menghancurkannya. (Ini adalah salah penafsiran informasi)

Jadi seperti apa skala kehancuran akibat AI yang ditakutkan manusia? 

collegedheko.com

Kita sulit menebak apa langkah para peneliti dalam menghadapi resiko malapetaka karena AI, meskipun sebenarnya tidak ada yang berpikir terlalu berlebihan tentang bencana besar akibat AI.

Paul Christiano, ahli AI Safety di OpenAI, baru-baru ini menguraikan dua skenario besar, agar lebih mudah kita pahami. 

Inilah dua kategori besar potensi bencana karena AI: 

1. Going out with a whimper 

2. Going out with a bang 

Going out with a whimper (Pelan) 

Manusia sudah lebih baik dalam hal memaksimalkan hasil yang mudah diukur daripada hasil yang sulit diukur. 

Lebih mudah untuk meningkatkan nilai standar tes matematika daripada meningkatkan pengetahuan siswa akan matematika yang sebenarnya.