Bagaimana Umat Manusia Akan Punah?

Jutaan orang akan mati akibat perubahan iklim, dan itu mengerikan; rasanya hampir seperti mengorbankan para korban tersebut untuk memberi tahu orang-orang yang nyaman di negara-negara kaya bahwa mereka mungkin tidak akan terpengaruh secara pribadi dan kemungkinan besar akan dapat melanjutkan kehidupan mereka yang nyaman.

Beberapa peneliti mempelajari skenario risiko ekstrem di mana pemanasan planet jauh lebih bencana daripada yang diproyeksikan. Saya pikir mempelajari hal itu layak, tetapi skenario-skenario ini sangat tidak mungkin terjadi - bukanlah tebakan terbaik dari apa yang akan terjadi.

Jadi alasan mengapa berargumen bahwa perubahan iklim mungkin bukan ancaman yang mengakhiri kehidupan spesies sangat kontroversial bukan karena sainsnya. Ini karena argumen tersebut terasa seperti pemisahan rambut secara intelektual dan mengabaikan masalah yang sangat serius yang ada di depan kita.

Tapi pada dasarnya, saya percaya pada kemampuan kita untuk memecahkan masalah tanpa melebih-lebihkannya, dan saya tidak percaya pada kemampuan kita untuk memecahkan masalah sambil melebih-lebihkannya. 

Anda memerlukan gambaran yang jelas tentang apa yang akan terjadi untuk memperbaikinya. Tindakan iklim yang ditangani dengan pemahaman yang salah tentang ancamannya tidak mungkin menyelamatkan orang-orang yang benar-benar membutuhkan pertolongan.

AI, Perang Nuklir, dan Akhir Dunia

Dalam sebuah artikel di Time, peneliti keselamatan AI (Eliezer Yudkowsky), menulis bahwa "hasil yang paling mungkin dari membangun AI yang lebih cerdas dari manusia di bawah kondisi apa pun yang mirip dengan keadaan saat ini adalah bahwa secara harfiah semua orang di Bumi akan mati." 

Menurutnya, perjanjian internasional baru melawan pembangunan sistem AI yang kuat adalah bagian dari upaya untuk menyelamatkan kita, bahkan jika penegakan perjanjian tersebut berarti melakukan tindakan perang terhadap negara-negara yang tidak mematuhinya.

Ini membuat banyak orang merasa sangat tidak masuk akal. Meskipun Anda yakin bahwa AI mungkin cukup berbahaya, Anda mungkin memerlukan bukti yang lebih meyakinkan bahwa AI benar-benar sangat mematikan untuk mempertimbangkan layak untuk mengambil risiko perang. (Perang juga berbahaya bagi masa depan peradaban manusia, terutama perang dengan potensi eskalasi menjadi pertukaran nuklir.)

Yudkowsky mempertahankan pendapatnya: AI super cerdas yang tidak terkendali kemungkinan besar akan mengakhiri semua kehidupan di Bumi, katanya, dan perang nuklir, meskipun akan sangat buruk, tidak akan melakukannya. Kita seharusnya tidak mencari perang nuklir, tetapi akan menjadi kesalahan jika ketakutan akan perang menghentikan kita untuk memberlakukan perjanjian internasional tentang AI.

Kedua argumen itu, tentu saja, kontroversial. Perang nuklir akan sangat menghancurkan dan membunuh jutaan orang secara langsung. Dapat menjadi lebih bencana jika badai api dari ledakan nuklir menurunkan suhu global dalam jangka waktu yang lama, kemungkinan yang diperdebatkan di antara para ahli dalam ilmu atmosfer yang relevan.

Menghindari perang nuklir tampaknya seharusnya menjadi salah satu prioritas tertinggi umat manusia, tetapi perdebatan mengenai apakah "musim dingin nuklir" akan terjadi akibat pertukaran nuklir bukanlah pemisahan rambut yang tidak berarti. 

Salah satu cara kita dapat mengurangi kemungkinan miliaran orang mati karena kelaparan massal adalah dengan mengurangi persenjataan nuklir, yang baik bagi Amerika Serikat maupun Rusia lebih kecil daripada saat puncak Perang Dingin tetapi kembali meningkat belakangan ini.

Apakah Kehadiran AI Merupakan Resiko yang Nyata?

Tentang apakah AI akan membunuh kita semua, sebenarnya sulit untuk melaporkan pertanyaan ini secara jujur. Para ilmuwan iklim secara umum sepakat bahwa perubahan iklim tidak akan membunuh kita semua, meskipun masih ada ketidakpastian yang substansial tentang skenario risiko ekstrem yang mungkin terjadi dan seberapa mungkin terjadi. Para peneliti perang nuklir memiliki perbedaan pendapat yang signifikan dan memanas tentang apakah akan terjadi "Nuclear Winter" 

Namun, kedua perbedaan pendapat itu tampak cacat dibandingkan dengan tingkat perbedaan pendapat mengenai dampak AI. CBS baru-baru ini menanyai Geoffrey Hinton, yang dijuluki bapak pendiri AI, tentang klaim bahwa AI dapat memusnahkan umat manusia. "Itu tidak mustahil, itu saja yang bisa saya katakan," kata Hinton.Saya juga mendengar hal yang sama dari banyak ahli lainnya: Taruhannya begitu tinggi sehingga tampaknya benar-benar menjadi perhatian serius. Tentu saja, ahli lain bersikeras bahwa tidak ada alasan untuk khawatir sama sekali.

Pertanyaan sejuta dolar kemudian adalah bagaimana AI bisa memusnahkan kita, jika bahkan perang nuklir, pandemi massal, atau perubahan suhu global yang signifikan tidak akan melakukannya. Namun, meskipun umat manusia cukup tangguh, ada banyak spesies lain di Bumi yang dapat memberi tahu Anda - atau mungkin telah memberi tahu Anda sebelum mereka punah - bahwa peradaban cerdas yang tidak peduli pada Anda benar-benar dapat menghancurkan habitat Anda untuk membangun jalan raya mereka (atau setara AI, mungkin menghancurkan seluruh biosfer untuk digunakan dalam proyek-proyek peradaban AI).

Sepertinya sangat sulit untuk menavigasi trade-off yang berisiko tinggi seperti ini dengan cara yang berdasarkan prinsip. Para pembuat kebijakan tidak tahu kepada ahli mana harus berpaling untuk memahami taruhannya dalam pengembangan AI, dan tidak ada konsensus ilmiah yang dapat membimbing mereka. Salah satu kesimpulan terbesar saya di sini adalah bahwa kita perlu mengetahui lebih banyak. Tidak mungkin membuat keputusan yang baik tanpa pemahaman yang lebih jelas tentang apa yang kita bangun, mengapa kita membangunnya, apa yang bisa salah, dan seberapa buruk kesalahan itu mungkin terjadi.