Center of Economic and Law Studies (CELIOS) baru-baru ini merilis hasil evaluasi kinerja 100 hari Prabowo-Gibran. Hasilnya, sangat jauh berbeda dengan lembaga lainnya seperti Litbang Kompas.
Perbedaan yang mencolok itu disebabkan karena CELIOS menggunakan metode yang tidak lazim, dikenal dengan nama expert judgement method. Metode ini berbasis pada pendekatan kualitatif, sementara lazimnya adalah kuantitatif.
Meskipun expert judgement menawarkan wawasan dari para ahli, namun dalam praktiknya, penggunaan metode ini dapat mengundang kontroversi dan potensi kesalahan metodologis yang berimplikasi pada keakuratan hasil survei.
Artikel ini tidak sedang mencari mana yang benar dan salah. Pun, tidak mempertentangkan antara mazhab kuantitatif dengan kualitatif dalam sebuah penelitian. Keduanya memiliki kelebihan dan keterbatasannya sendiri.
Justru, jika keduanya digunakan dengan teknik yang tepat...Sekali lagi, tepat! Secara bersamaan dalam periode tertentu, akan semakin mendekatkan penelitian pada keakuratan yang tinggi.
Kita akan lanjutkan pembahasannya, namun saya menyarankan kompasianer membaca tiga tulisan saya sebelumnya yang membahas topik terkait ini:
Dengan demikian, diskusi kali ini akan lebih konstruktif lagi.
Hasil Evaluasi CELIOS
Jika Litbang Kompas dalam surveinya membuktikan citra positif Prabowo sebesar 94,1 persen, CELIOS justru memberikan nilai 5 dari 10 (Bukan 11 dari 100, ya gaes...).
Sedangkan, citra positif Gibran menurut Litbang Kompas sebesar 79,9 persen, beda dengan CELIOS yang memberi nilai hanya 3 dari skala 10.
Selain itu, survei CELIOS mengatakan bahwa 74 persen responden merasa hanya sebagian janji kampanye yang terpenuhi, dan 88 persen mendukung perombakan kabinet (Liputan6.com, 22/1/2024; Tempo.co, 24/1/2025).
Lebih lanjut, skor 37 persen saja untuk aspek capaian program. Diikuti dengan aspek rencana kebijakan yang dinilai tidak sesuai dengan kebutuhan publik (skor 34%).
Tata kelola anggaran dalam kabinet menurut penilaian CELIOS juga sangat buruk dan mendapat ganjaran skor hanya 52 persen.
Celios juga menilai bahwa kolaborasi antar Lembaga tidak efektif (46%) dan minimnya intervensi di sektor ekonomi (31%).
Ujung dari laporan ini menyebutkan bahwa 88 persen responden menyatakan perlu dilakukan reshuffle atau pergeseran menteri pada 6 bulan pertama.
Berdasarkan hasil laporan tersebut, penting untuk mempertanyakan apakah penilaian tersebut sudah mencerminkan pandangan publik secara keseluruhan atau hanya segmen tertentu.
Teori Dasar Expert Judgement dalam Penilaian Kinerja Pemerintahan
Expert judgement adalah pendekatan yang mengandalkan penilaian dan evaluasi dari individu atau kelompok yang memiliki keahlian dalam bidang tertentu secara kualitatif.
Dalam konteks ini, CELIOS memanfaatkan 95 jurnalis dari 44 lembaga pers untuk menilai dampak kebijakan pemerintahan Prabowo-Gibran dalam 100 hari pertama mereka.
Jumlah tersebut sangat jauh bila dibandingkan dengan Litbang Kompas yang melibatkan 1000 responden yang tersebar di 38 provinsi.
Teori dasar yang mendasari penggunaan metode expert judgement ini adalah anggapan bahwa para ahli memiliki wawasan yang lebih tajam dalam menilai dinamika politik dan kebijakan dibandingkan dengan hanya mengandalkan data kuantitatif atau survei opini publik saja.
Namun, meskipun penggunaan expert judgement memiliki potensi untuk memberikan analisis yang mendalam, teknik ini bukan tanpa tantangan.
Penilaian ahli cenderung dipengaruhi oleh sejumlah faktor subjektif, termasuk bias personal, pengalaman yang terbatas pada perspektif tertentu, atau ketergantungan pada data yang tidak lengkap.
Potensi Kesalahan dalam Penggunaan Expert Judgement oleh CELIOS
1. Bias Seleksi Ahli
Salah satu masalah utama dalam penggunaan expert judgement adalah bias seleksi ahli. CELIOS kemungkinan memilih ahli yang memiliki perspektif atau preferensi tertentu, yang dapat memengaruhi hasil analisis secara tidak proporsional.Â
Misalnya, jika mayoritas ahli yang dilibatkan cenderung memiliki pandangan politik yang tidak mendukung pemerintahan atau berafiliasi pada kekuatan politik yang berseberangan dengan pemerintah, penilaian mereka mungkin tidak mencerminkan gambaran yang objektif dan komprehensif mengenai kinerja pemerintahan Prabowo-Gibran.
2. Kurangnya Konsensus yang Kuat
Salah satu ciri khas dari penggunaan expert judgement adalah adanya potensi ketidaksepakatan di antara para ahli, terutama dalam topik yang kompleks seperti evaluasi kinerja pemerintah.Â
Jika CELIOS tidak mengelola proses ini dengan hati-hati, hasilnya bisa menjadi cacat karena ketidaksesuaian pandangan antara para ahli yang terlibat.Â
Terlebih lagi, dalam konteks penilaian 100 hari pemerintahan yang relatif singkat, evaluasi yang beragam bisa menghasilkan analisis yang tidak konsisten atau bahkan kontradiktif.
3. Penggunaan Data yang Terbatas dan Bias
Expert judgement sering kali mengandalkan data yang terbatas dan terkadang spekulatif. Sebenarnya, keterbatasan data ini menjadi persoalan tersendiri dalam semua metode survei.
Dalam hal penilaian 100 hari pemerintahan, banyak faktor yang masih terlalu baru atau belum sepenuhnya terealisasi, yang membuat para ahli cenderung mengandalkan dugaan atau tren masa lalu untuk memberikan penilaian mereka.Â
Jika CELIOS tidak berhati-hati dalam mempertimbangkan data dan tren jangka panjang, hasil evaluasi yang diberikan bisa saja bias atau prematur.
4. Overconfidence dalam Penilaian
Para ahli sering kali cenderung memiliki tingkat kepercayaan yang tinggi terhadap penilaian mereka, meskipun analisis mereka didasarkan pada prediksi dan estimasi.Â
Ketika CELIOS menggunakan expert judgement untuk menilai kinerja pemerintah, ada risiko bahwa penilaian yang diberikan dianggap lebih valid daripada kenyataannya.Â
Overconfidence ini bisa menyebabkan kesalahan penilaian yang lebih besar, terutama jika tidak ada ruang untuk meragukan atau mengevaluasi kembali asumsi yang diambil.
5. Kurangnya Transparansi dalam Metodologi
Seringkali, ketika menggunakan expert judgement, proses pengumpulan dan analisis pendapat para ahli tidak dijelaskan secara transparan kepada publik.Â
Hal ini bisa mengarah pada keraguan tentang keabsahan hasil yang disajikan. Jika CELIOS tidak mempublikasikan metode yang digunakan dalam memilih dan menilai para ahli, publik mungkin akan meragukan integritas dan keakuratan hasil tersebut.
Mengelola Kelemahan dalam Expert Judgement: Rekomendasi untuk CELIOS
Untuk meningkatkan keandalan dan kredibilitas hasil evaluasi mereka, CELIOS dapat mempertimbangkan beberapa langkah untuk memperbaiki penggunaan expert judgement:
1. Diversifikasi Ahli
CELIOS harus memastikan bahwa para ahli yang dilibatkan dalam penilaian 100 hari pemerintahan Prabowo-Gibran berasal dari berbagai latar belakang yang beragam, baik dari segi politik, ekonomi, maupun pengalaman lapangan. Bukan seluruhnya hanya dari kalangan jurnalis.Â
CELIOS perlu memperluas keterlibatan akademisi, seperti doktor dan profesor yang pengalaman akademiknya sudah teruji, baik melalui aktivitas akademik, non akademik, bahkan jurnal-jurnal penelitian yang sudah mereka terbitkan.Â
Ini akan membantu mengurangi potensi bias seleksi dan memberikan pandangan yang lebih holistik.
2. Menggunakan Metode Delphi atau Konsensus
Untuk mengurangi ketidaksepakatan antar ahli, CELIOS dapat mempertimbangkan untuk menggunakan Delphi method, yang memungkinkan para ahli untuk memberikan pendapat mereka dalam beberapa putaran.Â
Dengan cara ini, CELIOS dapat memfasilitasi diskusi lebih mendalam yang mengarah pada konsensus yang lebih terinformasi dan lebih akurat.
3. Transparansi dalam Proses
CELIOS harus lebih transparan dalam menjelaskan metode dan proses yang digunakan dalam memilih para ahli dan dalam mengevaluasi hasilnya.Â
CELIOS juga perlu menyebutkan 95 nama-nama jurnalis dari 44 lembaga pers yang diklaim sebagai 'expert' tersebut.
Publikasi metodologi yang jelas akan meningkatkan kredibilitas hasil survei dan mengurangi kemungkinan keraguan atau kritik terhadap proses.
4. Mengombinasikan Expert Judgement dengan Data Empiris
Sebagai langkah perbaikan, CELIOS sebaiknya menggabungkan expert judgement dengan data kuantitatif yang lebih kuat, seperti hasil survei opini publik atau data ekonomi yang dapat memberikan gambaran lebih objektif tentang kinerja pemerintah.Â
Dengan pendekatan ini, hasil evaluasi akan lebih seimbang dan berbasis pada fakta yang dapat dipertanggungjawabkan.
Kesimpulan
Penggunaan expert judgement oleh CELIOS dalam menilai 100 hari pemerintahan Prabowo-Gibran adalah metode yang dapat memberikan wawasan yang berguna, tetapi juga berpotensi menimbulkan kesalahan metodologis jika tidak diterapkan dengan hati-hati.
Potensi bias, kurangnya konsensus, dan ketergantungan pada data terbatas menjadi tantangan utama dalam memastikan validitas penilaian.
Oleh karena itu, penting bagi CELIOS untuk mempertimbangkan langkah-langkah mitigasi, seperti memperluas keterlibatan ahli, meningkatkan transparansi metodologi, dan menggabungkan data empiris untuk menghasilkan penilaian yang lebih objektif dan kredibel.*
Follow Instagram @kompasianacom juga Tiktok @kompasiana biar nggak ketinggalan event seru komunitas dan tips dapat cuan dari Kompasiana
Baca juga cerita inspiratif langsung dari smartphone kamu dengan bergabung di WhatsApp Channel Kompasiana di SINI
