Algorithm Audit: A Search of Social Media Giants' Black Box

Pernahkah Anda menyadari, semakin lama menelusuri suatu topik di TikTok, topik tersebut dapat dengan cepat memenuhi for you page Anda? Apakah Anda pernah bertanya-tanya mengapa media sosial dapat menyajikan konten yang terpersonalisasi? 

Hal ini disebabkan oleh algoritma dalam sebuah sistem yang dapat mendeteksi minat, kepribadian, dan suasana hati user. Akan tetapi, algoritma dalam media sosial merupakan pisau bermata dua yang dapat menjerumuskan user ke dalam jaringan konten negatif dan ekstrimis, atau terjebak dalam skema promosi penjualan online yang memunculkan sifat konsumerisme apabila tidak digunakan dengan bijak. Lantas, adakah cara untuk menanggulanginya?

Upaya penanggulangan risiko tersebut dapat dilakukan dengan Algorithm Audit yang merupakan studi empiris untuk mengidentifikasi potensi perilaku mencurigakan dalam sebuah sistem algoritma publik. Jenis audit ini dapat memberikan jaminan kepada para pengguna bahwa suatu sistem itu terpercaya dan terverifikasi telah memenuhi standar etika dan hukum. 

Walaupun penggunaan algoritma dapat membawa berbagai manfaat bagi sebuah perusahaan---seperti mempermudah pengumpulan dan penginterpretasian data yang memungkinkan pengidentifikasian tren, serta pengambilan keputusan yang lebih akurat---, sebuah algoritma yang cacat dapat menyebabkan kerugian finansial yang besar dan kerusakan reputasi jika tidak ditanggulangi dengan baik. 

Oleh sebab itu, dari sisi internal perusahaan, algorithm audit dapat menjadi sarana bagi para developer untuk melakukan inovasi sistem yang berkelanjutan dan wadah bagi manajer perusahaan untuk menilai dampak suatu sistem dan kesesuaiannya terhadap tujuan perusahaan.

Audit Algoritma juga sejalan dengan Chapter III Digital Services Act yang membahas mengenai upaya menciptakan ekosistem digital yang aman dan transparan. Digitalisasi proses bisnis dan sosial secara tidak langsung membawa risiko yang lebih besar bagi perusahaan, seperti tingginya risiko bersinggungan dengan hak dan kepentingan pihak lain yang dapat berujung pada kasus hukum. Maka dari itu, diperlukan sesuatu yang lebih dari sekedar pemeriksaan sederhana demi memastikan transparansi dan keamanan bagi semua pemangku kepentingan.

Pentingnya algorithm audit sudah disadari oleh salah satu KAP terbesar dunia, Deloitte. Deloitte mengusung layanan Algorithm & AI Assurance sebagai respons terhadap banyaknya kasus yang merugikan perusahaan secara finansial, regulasi, dan reputasi akibat sistem algoritma yang defektif. 

Contohnya adalah kasus Gonzalez vs Google dan Taamneh vs Twitter, dimana tuntutan pada kedua raksasa teknologi tersebut didasarkan pada recommender system mereka yang dianggap mengarahkan user pada terorisme, kasus ini menyebabkan kerugian bagi reputasi perusahaan, bahkan untuk kasus Google, mereka sampai harus berhadapan dengan Mahkamah Agung Amerika Serikat. 

Oleh karena itu, Deloitte menekankan perlunya audit algoritma yang komprehensif untuk melakukan pemeriksaan mengenai manajemen risiko algoritma, pemenuhan standar, dan integritas dari sistem algoritma tersebut. Untuk melakukan Algorithm Audit secara komprehensif, audit algoritma dapat dilakukan dengan beberapa metode, seperti sock puppet audit dan crowdsourcing audit. 

Sock puppet audit merupakan strategi pengumpulan data dengan membuat program komputer yang menirukan perilaku user, seperti usia, lokasi, dan ketertarikan tertentu. Program ini kemudian menggunakan media sosial sebagaimana user pada umumnya untuk mendeteksi pola dan durasi pengerucutan konten. 

Pada 2021, metode ini diimplementasikan oleh The Wall Street Journal dengan menggunakan 100 bot untuk menginvestigasi sistem rekomendasi TikTok, dimana mereka menemukan sistem algoritma yang dapat mengerucutkan tampilan konten sesuai dengan minat user berdasarkan durasi tonton video. Temuan ini dapat membuka perspektif pengguna mengenai alasan mengapa konten yang mereka lihat di beranda media sosial mereka semakin menjurus pada satu topik tertentu.

Selain sock puppet audit, ada pula metode crowdsourcing audit yang serupa namun tak sama. Perbedaan antara sock puppet audit dan crowdsourcing audit hanya terdapat di satu aspek, yaitu wujud dari media uji dimana crowdsourcing merekrut manusia sebagai media uji alih-alih sebuah bot. 

Praktik ini dimulai dengan para tester melakukan aktivitas pencarian di sistem, kemudian data hasil pencarian akan dideteksi polanya melalui crowdsourcing platforms seperti Amazon Mechanical Turk. 

Contoh dari pelaksanaan crowdsourcing adalah program Birdwatch yang dimulai oleh Twitter untuk melakukan pemeriksaan keabsahan tweets yang berada di platform tersebut. Atas dasar tersebut, pendekatan ini dianggap paling menjanjikan untuk pelaksanaan audit di masa depan karena menggunakan manusia sebagai tester, sehingga tidak melanggar Terms of Service dari sistem yang melarang penggunaan bot atau pengguna palsu. 

Tentunya, pelaksanaan dari algorithm audit memerlukan prosedur pemeriksaan kritis terhadap potensi dampak suatu sistem algoritma, yaitu kerangka SMACTR. SMACTR bertujuan untuk meningkatkan akuntabilitas, integritas, dan pengawasan dalam sistem algoritma, serta mengidentifikasi dan menginternalisasi risiko pada masa mendatang. Setiap huruf di SMACTR melambangkan tahapan dalam proses audit algoritma yaitu, Scoping, Mapping, Artifact Collection, Testing, dan Reflection. 

Pertama-tama, tahap scoping merupakan tahap dimana auditor menentukan ruang lingkup audit yang mencakup pengumpulan data dari perusahaan seperti Product Requirements Document dan AI Principles. Selanjutnya, pada tahap mapping akan dilakukan peninjauan pada hal yang terlibat di dalam sistem, seperti data pemangku kepentingan dan kolaborator, peta perkembangan produk, ikhtisar teknis sistem, serta berkas riwayat versi dari produk tersebut. 

Lalu, tahap ketiga yaitu artifact collection, merupakan pemeriksaan kelengkapan dokumen untuk memastikan bahwa para auditor telah mendapatkan akses terhadap semua informasi dengan membuat audit checklist. 

Kemudian tahap keempat yaitu testing atau serangkaian pengujian untuk mengevaluasi keselarasan sistem dengan nilai-nilai etika yang telah ditetapkan perusahaan tersebut. Tahap terakhir dari prosedur algorithm audit adalah reflection, yaitu penyusunan laporan audit yang akan membantu auditor dalam pengambilan keputusan untuk mengatasi masalah dan risiko yang ditemukan selama proses audit.

Algoritma telah menjadi bagian fundamental dari operasi berbagai platform yang tidak bisa dilepaskan dari kehidupan banyak orang. Di samping kemampuannya membawa sebuah bisnis untuk maju, algoritma juga menyimpan berbagai risiko yang mengancam kelancaran operasi perusahaan dan kenyamanan khalayak. 

Oleh karena itu, dibutuhkan penelitian empiris seperti algorithm audit yang dapat meminimalisasi dan memitigasi risiko kekeliruan teknologi terhadap pengguna sistem, serta bisnis yang terlibat di dalamnya. 

Audit ini dapat dilakukan dengan metode sock puppet dan crowdsourcing yang mengikuti prosedur SMACTR, dengan tujuan merangkai sebuah laporan audit sebagai dasar pengambilan keputusan dan evaluasi sistem algoritmik. Akan tetapi, karena adanya detection risk atau risiko yang mungkin terlewatkan oleh audit algoritma, sebagai pengguna media sosial hendaknya kita juga mempertimbangkan kemampuan algoritma dalam mendeteksi minat kita sebagai pengingat untuk pandai memilah konten dan berperilaku lebih bijak dalam bermedia sosial. 

References:

Bandy, J. (2021, February 3). Problematic Machine Behavior: A Systematic Literature Review of Algorithm Audits. Retrieved from https://arxiv.org/abs/2102.04256

Metaxa, D., Park, J. S., Robertson, R. E., Karahalios, K., Wilson, C., Hancock, J., & Sandvig, C. (2021). Auditing Algorithms: Understanding Algorithmic Systems from the Outside In. Foundations and Trends in Human-computer Interaction, 14(4), 272--344. https://doi.org/10.1561/1100000083

Bouchaud, P. (2023,  March 8). Crowdsourced audit of Twitter's recommender systems. Retrieved from https://hal.science/hal-04036232v4  

Staff, W. (2021, July 21). Inside TikTok's algorithm: a WSJ video investigation. WSJ. Retrieved from https://www.wsj.com

Lovejoy, B. (2022, December 20). How TikTok's algorithm works: A disturbing analysis - 9to5Mac. Retrieved from https://9to5mac.com/2022/12/20/how-tiktoks-algorithm-works/

Christian Sandvig, Kevin Hamilton & Karrie Karahalios. (2014, May). Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms.  Retrieved from https://websites.umich.edu/~csandvig/research/Auditing%20Algorithms%20--%20Sandvig%20--%20ICA%202014%20Data%20and%20Discrimination%20Preconference.pdf

Inioluwa Deborah Raji et al. (New York: ACM New York, 2020. Closing the AI accountability gap: defining an end-to-end framework for internal algorithmic auditing  in Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. Retrieved from https://arxiv.org/pdf/2001.00973.pdf 

Algorithm & AI assurance. (n.d.). Retrieved from https://www2.deloitte.com/uk/en/pages/audit/solutions/algorithm-assurance.html

Johnson, Khari. (2020, January 30). "Google researchers release audit framework to close AI https://venturebeat.com/ai/google-researchers-release-audit-framework-to-close-ai-accountability-gap/accountability gap." VentureBeat. Retrieved from https://venturebeat.com/ai/google-researchers-release-audit-framework-to-close-ai-accountability-gap/

(2022, October 6). "Twitter is making its crowdsourced fact-checks visible to all US users with Birdwatch expansion." TechCrunch. Retrieved from https://techcrunch.com/2022/10/06/twitter-is-making-its-crowdsourced-fact-checks-visible-to-all-u-s-users-with-birdwatch-expansion/

Vkimber. (2023, February 15). Gonzalez v. Google LLC. Retrieved from https://www.law.cornell.edu/supct/cert/21-1333 

Penulis: Alsya Rosaly Putri Hadianti & Angeline Faustin 

Ilustrator: Kayla Anastasia Sindhikara