Algorithm Audit: A Search of Social Media Giants' Black Box

Selain sock puppet audit, ada pula metode crowdsourcing audit yang serupa namun tak sama. Perbedaan antara sock puppet audit dan crowdsourcing audit hanya terdapat di satu aspek, yaitu wujud dari media uji dimana crowdsourcing merekrut manusia sebagai media uji alih-alih sebuah bot. 

Praktik ini dimulai dengan para tester melakukan aktivitas pencarian di sistem, kemudian data hasil pencarian akan dideteksi polanya melalui crowdsourcing platforms seperti Amazon Mechanical Turk. 

Contoh dari pelaksanaan crowdsourcing adalah program Birdwatch yang dimulai oleh Twitter untuk melakukan pemeriksaan keabsahan tweets yang berada di platform tersebut. Atas dasar tersebut, pendekatan ini dianggap paling menjanjikan untuk pelaksanaan audit di masa depan karena menggunakan manusia sebagai tester, sehingga tidak melanggar Terms of Service dari sistem yang melarang penggunaan bot atau pengguna palsu. 

Tentunya, pelaksanaan dari algorithm audit memerlukan prosedur pemeriksaan kritis terhadap potensi dampak suatu sistem algoritma, yaitu kerangka SMACTR. SMACTR bertujuan untuk meningkatkan akuntabilitas, integritas, dan pengawasan dalam sistem algoritma, serta mengidentifikasi dan menginternalisasi risiko pada masa mendatang. Setiap huruf di SMACTR melambangkan tahapan dalam proses audit algoritma yaitu, Scoping, Mapping, Artifact Collection, Testing, dan Reflection. 

Pertama-tama, tahap scoping merupakan tahap dimana auditor menentukan ruang lingkup audit yang mencakup pengumpulan data dari perusahaan seperti Product Requirements Document dan AI Principles. Selanjutnya, pada tahap mapping akan dilakukan peninjauan pada hal yang terlibat di dalam sistem, seperti data pemangku kepentingan dan kolaborator, peta perkembangan produk, ikhtisar teknis sistem, serta berkas riwayat versi dari produk tersebut. 

Lalu, tahap ketiga yaitu artifact collection, merupakan pemeriksaan kelengkapan dokumen untuk memastikan bahwa para auditor telah mendapatkan akses terhadap semua informasi dengan membuat audit checklist. 

Kemudian tahap keempat yaitu testing atau serangkaian pengujian untuk mengevaluasi keselarasan sistem dengan nilai-nilai etika yang telah ditetapkan perusahaan tersebut. Tahap terakhir dari prosedur algorithm audit adalah reflection, yaitu penyusunan laporan audit yang akan membantu auditor dalam pengambilan keputusan untuk mengatasi masalah dan risiko yang ditemukan selama proses audit.

Algoritma telah menjadi bagian fundamental dari operasi berbagai platform yang tidak bisa dilepaskan dari kehidupan banyak orang. Di samping kemampuannya membawa sebuah bisnis untuk maju, algoritma juga menyimpan berbagai risiko yang mengancam kelancaran operasi perusahaan dan kenyamanan khalayak. 

Oleh karena itu, dibutuhkan penelitian empiris seperti algorithm audit yang dapat meminimalisasi dan memitigasi risiko kekeliruan teknologi terhadap pengguna sistem, serta bisnis yang terlibat di dalamnya. 

Audit ini dapat dilakukan dengan metode sock puppet dan crowdsourcing yang mengikuti prosedur SMACTR, dengan tujuan merangkai sebuah laporan audit sebagai dasar pengambilan keputusan dan evaluasi sistem algoritmik. Akan tetapi, karena adanya detection risk atau risiko yang mungkin terlewatkan oleh audit algoritma, sebagai pengguna media sosial hendaknya kita juga mempertimbangkan kemampuan algoritma dalam mendeteksi minat kita sebagai pengingat untuk pandai memilah konten dan berperilaku lebih bijak dalam bermedia sosial. 

References: