KETERANDALAN VERSUS KESAHIHAN
Oleh: Wahyu Eka Dewi Anggraini
Mahasiswa Prodi BK FKIP-UKSW Salatiga
Keterandalan atau reliabilitas memang penting. Kita tidak akan mau melimpahkan wewenang dan memberikan kepercayaan serta tanggung jawab kepada orang yang tidak dapat diandalkan. Kita cenderung untuk tidak menugasi orang yang angin-anginan (whimsical) atau impulsif dengan misi yang penting.
Sekutu tidak akan menggunakan rudal anti rudal patriot kalau rudal itu kadang-kadang saja mencegat Scud lawan, tetapi sering pula macet, atau tidak macet tetapi membiarkan rudal musuh itu meluncur bebas ke lesan (targetnya).
Pemasok (Supplier) yang tidak dapat menepati janji penyerahan barang-barang yang di pesan barangkali akan kena denda dan tidak dipakai lagi. Bahkan hujan di luar musim, atau “udan salah mangsa” kata orang jawa, dapat mengacaukan festival dangdut dan merugikan petani tembakau.
Dengan menampilkan contoh-contoh di atas, saya tegaskan bahwa saya bukan anggota gol tidal (golongan anti-keterandalan).
Namun heran juga saya melihat orang-orang yang sedemikian besar obsesinya untuk mengejar keterandalan, sehingga lupa bahwa kejutan kreatif dapat-dan sekali-kali memang benar-benar—terjadi. Mereka membutakan mata dan menulikan telinga terhadap temuan baru, fakta yang sedang terungkap, gagasan yang mulai menyembul...
Mereka telah melewati batas konservatisme yang sehat, yakni meyakini nilai-nilai yang telah teruji, dan terperosok ke dalam ultra konservatisme yang fanatik. Mereka memberhalakan keyakinan itu menjadi dogma yang tidak boleh ditawar-tawar, yang harus langgeng dan diwariskan turun-temurun.
Sabuk pengaman (protective belt) Imre Lakatos mereka salah gunakan untuk melindungi diri dari lonjakan paradigmatik a la Thomas Kuhn, walaupun programa progresif yang mereka yakini kebenarannya telah mandul atau mandek.
Pernah saya menurunkan artikel di KOMPAS. Judulnya “Sejuta Lalat Tak Bisa Salah”. Seandainya KOMPAS bukan harian nasional yang serius.
Melainkan tabloid kertas kuning yang menonjolkan sensasi, judul itu tentu menjadi “Sejuta Lalat Tak Bisa Salah: Santaplah Tinja!” kalau ada seonggok tinja dan ada sejuta lalat di situ, hampi-hampir dapat dipastikan bahwa sejuta lalat itu akan beramai-ramai mengerumuni tinja tersebut.
Perilaku lalat dalam hal ini sangat terandalkan. Jadi, keterandalannya besar. Tetapi apakah kita lalu harus ikut-ikutan menyantap tinja? Dengan kata lain, apakah sikap konformitas itu – walaupun aman dan menguntungkan – selalu baik?
Jawabannya tentulah tergantung pada tujuan kita. Kalau tujuan kita memang hendak menyantap tinja, ya memang baik untuk mengikuti teladan sejuta lalat itu. Tetapi kalau tujuan kita sebenarnya – setelah kita renungkan benar-benar – ternyata bukan untuk menyantap tinja, kita harus berani bersikap non-konformitas dan menjadi maverick.
Menguji jawaban (yang akan membentuk sikap, dan terejawantahkan dalam tindakan) dengan memeriksa dulu tujuannya, adalah berpegang pada kesahihan atau validitas. Apatah gunanya keterandalan besar seorang petembak yang 95% tembakannya mengenai tepi kanan lingkaran ketujuh dari lesan (target) berupa lingkaran-lingkaran sepusat, kalau tujuannya adalah membidik noktah hitam (bull’s eye) di pusatnya?
Ada pengalaman lain yang membuat saya tidak mengerti. Boss saya menugasi saya untuk membuat tes objektif, -- taruhlah, 100 soal pilihan berganda (multiple choice), dengan 5 pilihan (options) per batang-soal (stem). Setelah tes itu diuji coba dan hasilnya dianalisis, ternyata lah bahwa keterandalan tes itu rendah.
Maka soal-soal yang membuat keterandalan itu rendah diperiksa oleh pakar bahasa. Mereka lalu membuat laporan kepada boss saya, menyarankan agar teks (semacam) itu jangan dipakai lagi dan – kalaupun akan di pakai juga – agar soal-soal yang jelek tadi diganti atau diperbaiki dulu.
Bahkan secara tersirat (implicitly) di sarankan untuk memakai opsi yang lain sebagai jawaban yang benar. Alasannya? Karena dengan opsi itu sebagai jawaban yang benar, berdasarkan data uji coba itu akan diperoleh keterandalan yang lebih baik.
Padahal, keberatan para pakar itu terhadap opsi jawaban benar saya dapat saya tangkis secara bernalar. Saya tunjukkan bahwa justru penalaran dan penilaian merekalah yang keliru. Dan berpegang pada penalaran yang benar, pada ketajaman logika, adalah sangat penting, sebab tes itu memang tes penalaran verbal, yang tujuannya adalah menguji “ kelurusan” penalaran para peserta tes!
Dalam suatu ujian calon sarjana, terungkap bahwa skripsi si calon dapat ditulis berdasarkan penelitian, dan untuk meningkatkan keterandalan, secara sengaja ada sebagian data yang dibuang. Pembangunan data itu di restui dan bahkan atas anjuran dosen pembimbingnya. Alasannya ialah, bahwa dalam data itu sebagai hasil pemgamatan dan pengujian yang di analisis secara statistis. Akan diperoleh keterandalan yang kurang bagus.
Saya yang bukan pakar, yang awam di bidang statistika, menjadi bertanya-tanya. Memangnya, tujuan penelitian itu apakah untuk memperoleh keterandalan yang baik, atau untuk mengungkapkan hal yang diselidiki itu—yang dalam kasus ini adalah miskonsepsi siswa dalam fisika – secara jujur, sebagaimana adanya? Apakah penyembunyian data yang “jelek” itu tidak berarti ketidakjujuran keilmuan (scientific dishonesty)?
Memang, dalam pengamatan dan pengukuran dapat terjadi bahwa ada hasil yang palsu yang ikut “menyelundup” masuk. Dalam penelitian yang menggunakan perunut radioaktif (radioactive tracer), misalnya, hasil pengukurannya dapat di kacau oleh cacah palsu (spurious counts).
Dalam pengolahan markah (scores) untuk penilain acuan norma (norm-referenced evaluation), tidak sama sekali muhal (impossible) bahwa ada markah-markah ekstrem tinggi atau ekstrim rendah yang berasal dari siswa yang sebenarnya tidak termasuk dalam kelompok yang berbentuk norma itu.
Cacah palsu dan markah ekstrim itu harus dibuang dan tidak ikut diolah, sebab mengikutsertakan data semacam itu dalam analisis akan membawa kita ke kesimpulan yang salah. Tetapi harus diidentifikasi dulu data yang mana yang palsu, dan karena apa data itu di anggap palsu.
Harus ada patokan untuk menilai palsu atau tidak palsunya data. Untuk membuang markah-markah ekstrem itu, misalnya, dapat dipakai patokan Chauvenet. Membuang data semata-mata untuk mengejar koefisien reliabilitas yang “mengesankan” setali tiga wang dengan mendukuni laporan (doctoring a report)!
Setia kepada tujuan adalah sangat penting, kalau tujuan itu merupakan kebijakan atau keinginan kolektif dan benar-benar merupakan konsensus kita bersama. Tujuan yang lebih rendah, yang diturunkan atau dijabarkan dari tujuan yang lebih tinggi, haruslah disubordinasikan ke tujuan yang lebih tinggi itu.
