Tuduhan ini diarahkan pada dunia sains dan bukan khususnya pada orang per orang. Iklim dan nuansa sains adalah tentang apa yang dapat dilakukan dan bukan apa yang pantas dilakukan. Para ilmuwan tidak boleh naif ketika mereka mengalami tarik-menarik gerak batin bahwa mereka hendak mengaktualisasikan pengetahuannya sekaligus menyadari bahwa apa yang mereka buat nantinya berpotensi menghasilkan malapetaka. Lihat ilustrasi guci Pandora sebelumnya. Antara rasa ingin tahu Pandora berbanding ego ilmuwan tarik-menarik dengan kesadaran bahwa pada akhirnya malapetaka liar dilepaskan di luar kendali.
Cerita tentang ilmuwan dan bom atom parallel dengan cerita kontemporer paling canggih saat ini ketika para peneliti membuat teknologi AI. Saat ini bukan hanya ego peneliti yang mendorong mereka mengeluarkan 'malapetaka AI' dari guci Pandora, namun berkelindan juga dengan kepentingan ekonomis. Harusnya mereka menyadari hal tersebut dan memang sebetulnya mereka menyadarinya.Â
Sekarang ada dua kutub yang satu menginjak gas dan satunya menginjak rem pengembangan AIÂ [4]. Kesadaran potensi manfaat sekaligus malapetaka memang lebih cepat disadari oleh para visioner teknologi. Sayangnya kesadaran itu tidak selalu dipersoalkan di tataran bidang TIK lainnya.
Contoh sederhana dapat diamati pada teknologi media sosial. Tentu kita tahu ada fitur forward pesan. Bagi seorang pengembang aplikasi fitur ini adalah fitur sederhana dan mudah untuk dibuat. Namun apakah seorang pengembang aplikasi telepon pintar, pernah berpikir bahwa ekses forward pesan ternyata telah menghasilkan persoalan sosial baru yaitu penyebaran kabar bohong dan melimpahnya berita 'sampah'.Â
Mereka tentu dapat berdalih bahwa itu persoalan manusianya (the man behind the gun). Tetapi coba kita lihat contoh penggunaan senjata di Amerika Serikat. Pertama tanpa ada tradisi senjata, jumlah senjata yang beredar tentu tidak akan banyak. Kecuali sebatas senjata-senjata gelap/ tidak resmi. Tradisi Amerika Serikat dapat dibandingkan dengan situasi di negara lain yang kepemilikan senjatanya sedikit sebab dilarang. Kedua pembatasan senjata tentu membatasi peredaran senjata juga. Ketiga apabila senjatanya tidak diproduksi tentu persoalan ini tidak menjadi soal; meskipun ada logika pembenar juga bahwa senjata dibutuhkan untuk membela diri. Apabila tidak ada senjata tentu pertengkaran menggunakan 'batu'.
Dengan perbandingan di atas bagaimana apabila logika yang sama diterapkan pada TIK. Pertama fitur tersebut tidak perlu dibuat, atau kedua fitur tersebut tetap dibuat namun dengan pembatasan akses. Apakah pertimbangan ini setidaknya pernah 'hinggap' atau terbersit dalam kesadaran para pengembang TIK? Apakah peneliti dan pengembang bidang TIK pernah mempertimbangkan soal-soal demikian? Itulah pokok kritik terhadap sains bahwa mereka sibuk dengan apa yang dapat mereka mampu buat, bukan tentang apakah memang pantas dibuat. Setidaknya ketika sesuatu hal dibuat, apakah persiapannya juga dipertimbangkan?
Argumen kritik ini bukan untuk menghambat inovasi, namun inovasi perlu disertai dengan pertimbangan etis terutama apabila memiliki dampak penting dan luas. Pertimbangan etis ketat dapat menjadi pertimbangan regulasi layaknya regulasi peredaran senjata atau regulasi penggunaan TIK. Kesadaran kepantasan inovasi teknologi belum menjadi pertimbangan wajib dan esensial. Pemerintah perlu mengambil inisiatif peran yang mendesak dan terlibat aktif dalam persoalan ini. Seperti BPOM mengawasi peredaran obat dan makanan. Pertimbangan ini adalah bentuk-bentuk pengawasan yang dapat mengendalikan kelayakanan TIK bagi orang banyak.
Banyak isu sains yang parallel juga perlu mempertimbangan faktor etis, bom atom hanya salah satu contoh produk sains. Ada banyak produk sains yang menghasilkan potensi 'malapetaka' tanpa kendali etis yang memadai. Sebut saja salah satu di antaranya bioteknologi. AI sebagai salah satu produk sains bidang TIK adalah bom atom digital yang berpotensi menjadi lebih tidak dapat dikendalikan. AI bersifat soft catastrophic. AI seperti silent killer pada orang yang merokok. Dalam konstruksi masyarakat digital dampak malapetaka AI (jika terlalu cepat dikembangkan tanpa kesiapan regulasi dan pengawasan) akan menjadi silent killer catastrophic(pembunuh senyap yang berdampak masif).
Masih ada ancaman lain yang akan melipatgandakan kekuatan AI yaitu teknologi komputer kuantum. Kombinasi keduanya dapat digambarkan seperti ledakan supernova dunia digital.
Pertanyaan berikutnya ketika sains memerlukan rambu-rambu etis, darimana kekuatan etis mampu menjadi aksi nyata?
lanjut pada bagian kedua.
