Yang terjadi adalah manusia buruk dalam memerintah sebuah mesin, parahnya direspon mesin dengan teknologinya yang teramat kuat.Â
Kesalahan perintah manusia terhadap mesin, menimbulkan kegagalan yang bisa berakibat fatal. Contohnya jika kita memerintahkan robot untuk membersihkan kaca cermin, ternyata yang dia lakukan malah menghancurkannya. (Ini adalah salah penafsiran informasi)
Jadi seperti apa skala kehancuran akibat AI yang ditakutkan manusia?Â
Paul Christiano, ahli AI Safety di OpenAI, baru-baru ini menguraikan dua skenario besar, agar lebih mudah kita pahami.Â
Inilah dua kategori besar potensi bencana karena AI:Â
1. Going out with a whimperÂ
2. Going out with a bangÂ
Going out with a whimper (Pelan)Â
Manusia sudah lebih baik dalam hal memaksimalkan hasil yang mudah diukur daripada hasil yang sulit diukur.Â
Lebih mudah untuk meningkatkan nilai standar tes matematika daripada meningkatkan pengetahuan siswa akan matematika yang sebenarnya.Â