Masih Bisakah Mempercayai Saiful Mujani?

Sebagai penggemar riset dan ilmu statistik, saya sangat bergembira ketika metoda quick count dilakukan di Indonesia secara terbuka pada pemilu presiden tahun 2004. Salah satu tokohnya adalah Saiful Mujani, PhD seorang filosof doktor Ilmu Politik dari Ohio State University. Bagi saya ia sangat berjasa besar dalam mendorong terbangunnya proses demokrasi Indonesia yang jujur dan kuat.

Pada tahun 2010 bersama Dr William Liddle dan Thomas B Pepinsky, ia meraih penghargaan Franklin L. Burdette/Pi Sigma Alpha Award 2010. Penghargaan bergengsi dari Asosiasi Ilmu Politik Amerika (APSA) ini pernah diraih ilmuwan Samuel Huntington.

Saya sangat mempercayai hasil-hasil survey dan quick count yang dilakukan olehnya. Saya sangat mempercaya kredibilitasnya.

Namun pada Pilpres 2014 ini saya agak terusik, ketika terjadi kontroversi hasil quick count. Lebih-lebih ketika beberapa ahli memandang bahwa hasil quick SMRC (lembaga yang dipimpinnya) lebih pantas menjadi standard daripada hasil perhitungan real count KPU. Sampai muncul statemen “Bila hasil real count KPU berbeda dengan hasil quick count, maka hasil real count KPU yang salah”. Mulailah saya membaca dan mempelajari dengan seksama metodologi quick count yang dilakukan oleh SMRC dari berbagai media.

Kekuatan quick count sesungguhnya sangat bergantung pada bagaimana sampel ditarik. Karena sampel tersebut yang akan menentukan mana suara pemilih yang akan dipakai sebagai dasar prediksi hasil pemilu. Sampel yang ditarik secara "benar" akan menjadi dasar yang kuat untuk menggambarkan karakteristik populasi. Untuk melakukan penarikan sampel secara benar 2 faktor utama yang sangat penting adalah (1) Jumlah sampel (2) Identifikasi faktor-faktor yang berpengaruh dalam populasi.

Berapa jumlah sampel yang digunakan dalam sebuah quick count akan menjadi faktor penting yang mempengaruhi margin of error, sebuah toleransi kesalahan yang berpengaruh terhadap hasil quick count.

Selama ini sebenarnya saya percaya sepenuhnya dengan klaim yang dilakukan oleh SMRC. Bahwa margin of error mereka 1%. Bahkan dalam pilpres 2014 di websitenya mereka mengatakan bahwa margin of error hasil quick count mereka adalah +/- 0,62%. Sebuah angka yang selama ini membuat saya berdecak kagum, tanpa perlu melakukan cross check.

Untuk mengedepankan nilai-nilai ilmiah, saya meminggirkan terlebih dahulu kepercayaan saya kepada nama besar Saiful Mujani. Saya mencoba menghitung margin of error berdasarkan rumus yang ada. Dan ternyata untuk mendapatkan margin of error 1% dari total 478.685 TPS, dibutuhkan paling tidak sejumlah 16.082 TPS untuk confidence level 99%. Sedangkan untuk jumlah sampel 4.000 TPS yang digunakan oleh SMRC, akan menghasilkan margin of error 2,031%. Silakan bandingkan dengan klaim margin of error 0,62%. Untuk menghitung margin of error secara instan dapat digunakan sample calculator di http://www.surveysystem.com/sscalc.htm .

Dalam survey, klaim yang sangat jauh ini bisa menggambarkan bagaimana kredibiltas dari lembaga survey yang melakukannya.

Ini belum mengevaluasi bagaimana memilih sampel dengan mempertimbangkan faktor-faktor yang berpengaruh dalam populasi. Karena untuk mengevaluasinya dibutuhkan melihat kepada data samplenya secara langsung serta asumsi-asumsi yang digunakan.

Kepercayaan saya kepada Saiful Mujani, PhD juga menjadi terusik ketika membaca bahasan Tras Rustamaji di wall facebooknya. Tras Rustamaji adalah seorang konsultan dan penikmat matematika. Ia pernah sebagai juara matematika semasa sekolah serta peserta Olimpiade Matematika di Jerman.

Tras mengungkapkan bahwa ada kemungkinan perubahan data yang di lakukan SMRC dalam quick count pilpres 2014. Kajian Tras dengan melihat distribusi data yang ditampilkan oleh SMRC yang dilihatnya melalui website SMRC pada 10 Juli 2014 pukul 00:41:13:

GAMBAR 1. Stabilitas Suara Quick Count SMRC versi 10 Juli 2014 pukul 00:41:13

Tras mengupas dengan detil beberapa kecurigaannya tentang adanya kemungkinan pada tanggal 9 Juli 2014 jam 13:19-13:33 saat perhitungan quick count terdapat data dari kantong-kantong suara Jokowi yang dimasukkan, sehingga terjadi perubahan suara 180 derajat. Untuk membaca secara detil kajian Tras bisa dilihat di https://www.facebook.com/notes/tras-rustamaji/catatan-quick-count-pilpres-2014/10152551028838914  .

Bagi saya, yang benar-benar membuat hancur kepercayaan saya kepada Saiful Mujani adalah adanya perubahan grafik stabilitas suara pada tanggal 12 Juli 2014 pukul 02:08:06, atau setelah tulisan Tras ramai di media sosial.

14051690401806257683

GAMBAR 2. Stabilitas Suara Quick Count SMRC versi tanggal 12 Juli 2014 pukul 02:08:06

Dan grafik tersebut tiba-tiba berubah kembali pada tanggal 12 Juli 2014 pukul 17:13:31. Sebagai informasi grafik stabilitas suara ini seharusnya tidak dapat berubah apabila tidak ada update (penyesuaian) suara di tengah proses quick count.

14051690901458504932

GAMBAR 3. Stabilitas Suara Quick Count SMRC versi tanggal 12 Juli 2014 pukul 17:13:31

Buat saya tidak terlalu penting siapa yang akan terpilih menjadi presiden, apakah Prabowo Subianto atau Joko Widodo. Tetapi melacurkan pendekatan ilmiah untuk kepentingan kelompok atau individu, dengan resiko yang sangat besar: dapat menjadi penyebab konflik horisontal rakyat Indonesia yang sangat dahsyat adalah sesuatu yang tidak dapat ditoleransi.

Masih dapatkah kita mempercayai Saiful Mujani, PhD? Masih dapatkah kita mengatakan bahwa hasil quick count ini lebih benar daripada perhitungan real count KPU?