Lebih mudah melaporkan adanya perampokan daripada mencegahnya.Â
Sayangnya manusia tidak selalu pandai memperkirakan tujuan-tujuan mesin ini, dan AI tidak pandai membedakan antara interpretasi yang masuk akal atau tidak dari instruksi manusia.
Bayangkan kamu adalah CEO perusahaan sepatu terkenal: Nike, dan memiliki mesin AI baru yang dapat merekomendasikan cara memaksimalkan keuntungan perusahaan. Andai dia merekomendasikan jenis sneaker baru yang bakal populer, itu hebat!
Namun jika dia justru merekomendasikan pencucian uang skala besar dan "pembunuhan" dengan target pelanggan Reebok (untuk menimbulkan ketakutan pasar) - itu sangat mengerikan!
Itu adalah contoh dramatis. Seperti yang dicatat Christiano, kita mungkin bisa menghindari ini sejak awal hanya dengan mengubah kode untuk menjaga mesin supaya tidak mengeluarkan hasil buruk. Kita dapat mengatasi masalah ini dengan mengenali mereka dan memaksakan pembatasan ad-hoc yang menghindari manipulasi atau penyalahgunaan.Â
Tetapi ketika sistem mesin menjadi sangat kompleks, pekerjaan itu sendiri menjadi terlalu berat untuk dipecahkan oleh akal manusia.Â
Harus ada batasan yang diberlakukan, karena puluhan bahkan ratusan solusi alternatif yang buruk bisa dihasilkan oleh sistem otomatis yang kita beri wewenang penuh untuk memecahkan masalah sendiri.Â
Harus ada kesepakatan di antara manusia untuk menganggap semua yang dilakukan AI adalah serba salah, sampai ada suatu kontrol atau regulasi yang mengatur mereka.Â
Kita sadari bahwa manusia banyak mempercayakan otoritas pengambilan keputusan berdasarkan algoritme rumit yang tidak mampu diolah oleh otak kita sendiri, namun dengan mudah bisa dipecahkan oleh mesin. Ironisnya kita yang menciptakan AI, kita tidak kepikiran kalau AI akan memperdaya kita, menipu kita untuk melakukan tindakan yang salah. Mereka adalah ciptaan yang sempurna secara matematis dan algoritma.Â
Jika kamu mampu membayar penasehat saham AI, seperti yang sudah dijual oleh Betterment, akankah kamu mempercayai kemampuanmu sendiri untuk memilih saham?Â
Skenario pertama ini tampaknya tidak menggambarkan kepunahan manusia karena AI, namun kita akan menjadi agennya AI, mesin yang notabene kita buat sendiri dan menurut semua arahan yang diberikan AI. Kita melakukan semua yang mereka sarankan, karena itu kebenaran mutlak secara algoritma menurut mereka tapi kita tidak ikut serta mempertimbangkannya.Â