Solusi Adversial dalam Mengatasi Bias Algoritma untuk Keputusan Sosial

Salah satu kekuatan utama metode ini adalah penggunaan Wasserstein distance untuk mengukur jarak distribusi antar kelompok, yang memungkinkan sistem mendeteksi dan menghilangkan bias yang tidak selalu terlihat. 

Misalnya, pada dataset Adult dari UCI yang melibatkan prediksi pendapatan tahunan lebih dari $50.000, artikel ini menunjukkan bahwa meskipun atribut gender dihapus, bias masih dapat muncul dari fitur lain yang terkait dengan gender, seperti usia atau profesi.

Data yang digunakan oleh Qiu dan tim berasal dari berbagai sumber dunia nyata yang relevan, seperti dataset pendapatan (Adult), risiko kredit (Statlog), hingga risiko pinjaman (Fraud) dan investasi (Investor). 

Pada dataset Adult, representasi data yang dihasilkan oleh sistem mereka mampu mengurangi kemungkinan pria memiliki pendapatan tinggi dibandingkan wanita dari 2,39 kali (dengan fitur asli) menjadi 1,95 kali bahkan setelah atribut gender dihapus.

 Lebih lanjut, pendekatan ini berhasil menurunkan jarak distribusi antar kelompok gender pada dataset tersebut, yang diukur menggunakan Earth Mover's Distance (EMD), menjadi hampir nol, yang berarti bahwa bias gender secara efektif terhalangi dalam prediksi.

Selain itu, dalam kasus risiko kredit di dataset Statlog, metode ini meningkatkan kesetaraan dalam penilaian risiko antara kelompok gender. Artikel ini mencatat bahwa meskipun pendekatan Autoencoder biasa dapat mengurangi bias hingga tingkat tertentu, metode adversarial mereka mampu mempertahankan lebih banyak informasi yang relevan untuk prediksi tanpa mengorbankan keadilan. 

Sebagai contoh, hasil dari pendekatan mereka menunjukkan bahwa nilai MSE (Mean Squared Error) saat merekonstruksi fitur asli adalah 0,02, yang relatif rendah, sehingga menjaga akurasi prediksi tetap tinggi sambil memitigasi bias.

Namun, artikel ini juga menunjukkan bahwa ada trade-off yang harus diperhatikan antara keadilan dan kinerja prediksi. Di dataset Fraud, misalnya, performa klasifikasi mengalami penurunan dari segi F1-score karena sistem secara aktif menghilangkan informasi yang terkait dengan atribut terlindungi, yang mungkin memiliki korelasi dengan hasil klasifikasi. 

Meski demikian, metode ini masih lebih unggul dibandingkan pendekatan terdahulu seperti Learning Fair Representations (LFR) yang diusulkan oleh Zemel et al. (2013), baik dari segi keadilan maupun kinerja klasifikasi. Angka-angka ini memberikan bukti bahwa meskipun penghapusan atribut terlindungi seperti gender atau ras tidak cukup untuk menjamin keadilan, representasi data yang adil dapat dicapai melalui pendekatan adversarial tanpa mengorbankan terlalu banyak akurasi prediksi.

***

Pendekatan yang diusulkan oleh Huadong Qiu et al. (2023) dalam artikel ini menawarkan solusi penting untuk memastikan keadilan dalam pembelajaran mesin, terutama ketika algoritma digunakan dalam pengambilan keputusan yang berdampak besar pada masyarakat.