Sebagai penggemar riset dan ilmu statistik, saya sangat bergembira ketika metoda quick count dilakukan di Indonesia secara terbuka pada pemilu presiden tahun 2004. Salah satu tokohnya adalah Saiful Mujani, PhD seorang filosof doktor Ilmu Politik dari Ohio State University. Bagi saya ia sangat berjasa besar dalam mendorong terbangunnya proses demokrasi Indonesia yang jujur dan kuat.
Pada tahun 2010 bersama Dr William Liddle dan Thomas B Pepinsky, ia meraih penghargaan Franklin L. Burdette/Pi Sigma Alpha Award 2010. Penghargaan bergengsi dari Asosiasi Ilmu Politik Amerika (APSA) ini pernah diraih ilmuwan Samuel Huntington.
Saya sangat mempercayai hasil-hasil survey dan quick count yang dilakukan olehnya. Saya sangat mempercaya kredibilitasnya.
Namun pada Pilpres 2014 ini saya agak terusik, ketika terjadi kontroversi hasil quick count. Lebih-lebih ketika beberapa ahli memandang bahwa hasil quick SMRC (lembaga yang dipimpinnya) lebih pantas menjadi standard daripada hasil perhitungan real count KPU. Sampai muncul statemen “Bila hasil real count KPU berbeda dengan hasil quick count, maka hasil real count KPU yang salah”. Mulailah saya membaca dan mempelajari dengan seksama metodologi quick count yang dilakukan oleh SMRC dari berbagai media.
Kekuatan quick count sesungguhnya sangat bergantung pada bagaimana sampel ditarik. Karena sampel tersebut yang akan menentukan mana suara pemilih yang akan dipakai sebagai dasar prediksi hasil pemilu. Sampel yang ditarik secara "benar" akan menjadi dasar yang kuat untuk menggambarkan karakteristik populasi. Untuk melakukan penarikan sampel secara benar 2 faktor utama yang sangat penting adalah (1) Jumlah sampel (2) Identifikasi faktor-faktor yang berpengaruh dalam populasi.
Berapa jumlah sampel yang digunakan dalam sebuah quick count akan menjadi faktor penting yang mempengaruhi margin of error, sebuah toleransi kesalahan yang berpengaruh terhadap hasil quick count.
Selama ini sebenarnya saya percaya sepenuhnya dengan klaim yang dilakukan oleh SMRC. Bahwa margin of error mereka 1%. Bahkan dalam pilpres 2014 di websitenya mereka mengatakan bahwa margin of error hasil quick count mereka adalah +/- 0,62%. Sebuah angka yang selama ini membuat saya berdecak kagum, tanpa perlu melakukan cross check.
Untuk mengedepankan nilai-nilai ilmiah, saya meminggirkan terlebih dahulu kepercayaan saya kepada nama besar Saiful Mujani. Saya mencoba menghitung margin of error berdasarkan rumus yang ada. Dan ternyata untuk mendapatkan margin of error 1% dari total 478.685 TPS, dibutuhkan paling tidak sejumlah 16.082 TPS untuk confidence level 99%. Sedangkan untuk jumlah sampel 4.000 TPS yang digunakan oleh SMRC, akan menghasilkan margin of error 2,031%. Silakan bandingkan dengan klaim margin of error 0,62%. Untuk menghitung margin of error secara instan dapat digunakan sample calculator di http://www.surveysystem.com/sscalc.htm .
Dalam survey, klaim yang sangat jauh ini bisa menggambarkan bagaimana kredibiltas dari lembaga survey yang melakukannya.
Ini belum mengevaluasi bagaimana memilih sampel dengan mempertimbangkan faktor-faktor yang berpengaruh dalam populasi. Karena untuk mengevaluasinya dibutuhkan melihat kepada data samplenya secara langsung serta asumsi-asumsi yang digunakan.
Kepercayaan saya kepada Saiful Mujani, PhD juga menjadi terusik ketika membaca bahasan Tras Rustamaji di wall facebooknya. Tras Rustamaji adalah seorang konsultan dan penikmat matematika. Ia pernah sebagai juara matematika semasa sekolah serta peserta Olimpiade Matematika di Jerman.