Soal SBMPTN 2016 Tidak Fair, Apa Solusinya?

Halmar Halide

Ketua Pengawas Wilayah Saintek pada PUML 82 UNHAS, Makassar

Fairness: salah satu syarat soal-ujian baku

Pekan lalu, para peserta ujian SBMPTN (Seleksi Bersama Masuk Perguruan Tinggi Negeri) tahun 2016 berjuang keras untuk mendapatkan satu tempat pada jenjang pendidikan yang lebih tinggi dan diterima pada salah satu universitas negeri pilihannya. Ini dapat dipandang sebagai suatu taruhan tingkat tinggi (high stakes). Alat ukur (baca: soal ujian) yang digunakan untuk menyeleksi para kandidat ini pun mestinya memenuhi sejumlah syarat antara lain: keabsahan (validity) dan keadilan (fairness) [Kane, 2013; Caines dkk., 2014]. Soal yang absah berarti soal tersebut sesuai dengan sasaran yang akan dicapai, sedang soal yang adil berarti setiap peserta ujian memiliki kesempatan yang sama untuk melulusi soal tersebut.  Hal ini menjadi tantangan berat bagi para pembuat soal SBMPTN yang merancang soal baku untuk maksud tersebut.

Kini dengan tibanya bulan ramadhan, para peserta SBMPTN itu kembali mengharap keberkahan melalui doa yang terpanjat kepada Yang Maha Pemurah. Intensitas do’a tersebut sejogyanya makin diperkuat, jika saja mereka mengetahui bahwa alat uji (soal SBMPTN) yang mereka kerjakan ternyata tidak fair. Artikel singkat ini menjelaskan bagaimana ke-tidak-fair-an ini ditemukan dan bagaimana cara mengoreksinya.   

TKD (Tes Kemampuan Dasar) Saintek: sumber ketidakadilan naskah

Sebagai Koordinator Wilayah Saintek, saya mengumpulkan perangkat soal TKD Saintek dari salah satu lokasi ujian (SMA Negeri 17 Makassar). Soal-soal TKD Saintek ini bersampul warna merah-jambu dengan kode-kode naskah: 249, 250, 251, dan 252. Masing-masing naskah ini memiliki jumlah soal yang sama yakni 60 buah soal. Ada 4 (empat) bidang studi yang diujikan yakni: Matematika (soal no. 1-15), Fisika (soal no. 16-30), Kimia (soal no. 31-45) dan Biologi (soal no. 46-60). Ada 2 (dua) hal yang saya temukan. Pertama, terdapat 16 buah soal yang sama (baik nomor soal maupun redaksi soalnya) pada keempat kode naskah. Soal-soal yang sama tersebut adalah bernomor: 7, 11, 13 dan 14 (bagian soal Matematika); 16, 22, 25 dan 27 (Fisika); 32, 37, 38 dan 40 (Kimia); 47, 52, 54 dan 60 (Biologi). Implikasi temuan pertama ini adalah bahwa jika seorang peserta yang berhasil menjawab dengan benar suatu bocoran soal/contekan, ia minimal akan memperoleh nilai 16 × 4 (setiap soal yang benar diberi nilai +4) = 64. Andaikata jawabannya yang lain salah (ia akan menerima penalti sebesar -1 untuk setiap jawaban salah), nilai bersihnya adalah: 64 - 44 = 20 poin. Untuk mengurangi insentif bagi seorang peserta curang yang mengambil keuntungan dari soal ujian seperti itu, sebaiknya panitia mengacak nomor yang memiliki soal yang sama dan nilai untuk soal yang benar adalah +1  bukannya +4.

 Kedua, saya menemukan pelanggaran prinsip keadilan untuk soal yang dapat dikategorikan sebagai soal standar (baku) ini. Semestinya, apapun kode naskahnya, semua peserta mengerjakan masing-masing soal dengan materi yang semirip mungkin (baik jenis maupun tingkat kesulitannya). Hal ini ternyata tidak demikian. Tabel 1 menyajikan fakta tersebut. Pada tabel ini ditampilkan nomor soal dan nilai kemiripan materi ujian untuk masing-masing kode naskah. Nilai kemiripan materi ujian pada masing-masing soal berkisar antara 1 (mirip) hingga 4 (tidak mirip).

Tabel 1. Nilai kemiripan materi ujian untuk 4 kode naskah. Baris terakhir menunjukkan nilai rata-rata dan simpangan baku  kemiripan/kedekatan materi ujian untuk masing-masing naskah (dicetak tebal).

No.
Soal

Kode Naskah beserta nilai kemiripannya berdasarkan materi ujian (dalam tanda kurung)

249

250

251

252

16.
1 (gerak peluru)
1 (gerak peluru)
1 (gerak peluru)
1 (gerak peluru)
17.
4 (gerak 2 benda, bidang datar)
3 (gerak 2 benda, bidang miring)
2 (gerak 1 benda, bidang miring)
(gerak 1 benda, vertikal)
18.
3 (momentum sudut)
1 (momen inersia benda menuruni bidang miring)
4 (papan dan katrol)
2 (momen inersia benda menuruni dan menaiki bidang miring)
19.
4 (modulus geser)
3 (tetapan pegas)
1 (regangan dengan beban berbeda)
2 (regangan pada penampang berbeda)
20.
1 (fluida pada pipa dengan beda tekanan)
1 (fluida pada pipa dengan beda tekanan)
1 (fluida pada pipa dengan beda tekanan)
2 (fluida pada pipa)
21.
1 (hukum gas ideal)
1 (hukum gas ideal)
1 (hukum gas ideal)
1 (hukum gas ideal)
22.
1 (proses gas ideal)
1(proses gas ideal)
1(proses gas ideal)
1(proses gas ideal)
23.
1 (pendulum)
1 (pendulum)
1 (pendulum)
1 (pendulum)
24.
2 (Rangk. List. DC seri)
2 (Rangk. List. DC paralel)
1 (hukum Ohm)
3 (Rang. List. AC)
25.
1 (kemagnitan)
1 (kemagnitan)
1 (kemagnitan)
1 (kemagnitan)
26.
1 (spektrum)
2 (partikel elementer)
3 (gabungan bintang)
4 (waktu paruh relativistik)
27.
1 (optika-retina)
1 (optika-retina)
1 (optika-retina)
1 (optika-retina)
28.
2 (elektrostatik 2 muatan)
1 (elektrostatik 3 muatan)
1 (elektrostatik 3 muatan)
1 (elektrostatik 3 muatan)
29.
2 (gerak elips)
1 (gerak melingkar)
1  (gerak melingkar)
3 (gerak curvature)
30.
2 (gel. stasioner)
3 (efek Doppler)
1 (pipa organa)
1 (pipa organa)

1,80± 1,08
1,53± 0,83
1,40± 0,91
1,67± 0,98

MANOVA: detektor ketidakadilan naskah

Pada mulanya, analisis data pada Tabel 1 dilakukan menggunakan uji ANOVA dan uji Kruskal-Wallis. Kedua analisis ini ditujukan untuk menemukan apakah ada perbedaan nyata antara nilai kedekatan/kemiripan antara keempat kode naskah. Kedua analisis ini menyimpulkan bahwa keempat kode soal tak berbeda signifikan. Hal ini sebenarnya terlihat pada nilai rata-rata dan simpangan baku nilai kemiripan materi uji pada Tabel 1. Namun, ketika perangkat data pada Tabel 1 diatas selanjutnya dianalisis menggunakan teknik MANOVA (Multivariate Analysis of Variance), keempat kelompok naskah ternyata terbagi atas 2 cluster (kelompok) berdasarkan jarak Mahalanobis-nya. Hal ini ditunjukkan pada Gambar 1.  Kode naskah 250 dan 251 bergabung pada satu cluster sedangkan kode naskah 249 dan 252 berada pada cluster lainnya. Hasil yang tersaji pada Gambar 1 ini diperoleh dengan menggunakan paket pemrograman MATLAB yakni subroutine “Manova1” dan “Manovacluster”.

 

Gambar 1. Pengelompokan naskah ujian TKD Saintek kedalam 2 cluster. Cluster 1 berisi kode naskah  250 dan 251, sedangkan cluster 2 berisi kode naskah 249 dan 252.

Adanya pengelompokan naskah ini menjadi indikasi bahwa ada pelanggaran azas fairness. Peserta SBMPTN terpapar soal SBMPTN yang berbeda. Jika perbedaan ini dapat dikaitkan dengan tingkat kesulitan soal, maka yang lebih menderita adalah peserta yang kurang menguasai bahan dan ia kebetulan memperoleh soal dengan tingkat kesulitan tinggi. Ia kemungkinan besar tak lolos ujian SBMPTN karena kebetulan mendapatkan soal yang sulit. Hal sebaliknya terjadi pada peserta berkemampuan tinggi yang kebetulan mendapatkan soal dengan tingkat kesulitan rendah. Kemungkinan dia untuk lolos SBMPTN semakin besar. Kedua kasus ekstrim ini menyebabkan terciderainya kesamaan peluang peserta untuk lulus SBMPTN gara-gara soal yang tidak fair.

Normalisasi nilai: solusi untuk ketidakadilan naskah ujian

Ujian SBMPTN 2016 telah usai, para peserta sedang menunggu hasilnya dengan harap-cemas (berharap untuk  lulus dan cemas kalau gagal). Ketidak-adilan yang dijumpai pada berbagai versi naskah ujian tersebut pun telah terdeteksi. Meskipun demikian, ujian ini tak dapat lagi diulang. Salah satu solusi cepat untuk mengeliminasi ketidak-adilan antara peserta yang mengerjakan naskah soal yang berbeda adalah dengan melakukan normalisasi pada nilai ujian berdasarkan kode soal masing-masing. Cara mudah yang bias dilakukan Panitia adalah begini: telusurilah nilai semua peserta yang mengerjakan naskah kode X. Identifikasi nilai terendah dan tertinggi untuk kode naskah ini. Nilai untuk masing-masing peserta yang mengerjakan naskah kode X selanjutnya dikalibrasi menggunakan rumus normalisasi data. Rumus ini sudah tersedia misalnya pada situs Wikipedia.  Semoga ini menjadi pembelajaran bagi Panitia untuk ekstra hati-hati dalam merancang dan mengujikan soal yang fairbagi setiap peserta ujian.

Daftar Pustaka:

Caines J., B L. Bridglall, M. Chatterji, 2014. Understanding validity and fairness issues in high-stakes individual testing situations. Quality Assurance in Education 22 (1): 5-18.

Kane, M. (2013), “Validity and fairness in the testing of individuals”, in M. Chatterji (Ed.), Validity and Test Use:  An International Dialogue on Educational Accountability and Equity, Emerald Group Publishing, Bingley, pp. 17-53.

Wikipedia  [https://en.wikipedia.org/wiki/Normalization_(statistics)]