Survei, Quick Count, dan Siapa yang Menang

[caption id="" align="alignnone" width="624" caption="Hitung Cepat Kompas | Kompasiana (Kompas.com)"][/caption]

Sebelum saya memulai, saya ingin menyatakan bahwa saya termasuk pendukung Jokowi. Tetapi saya harap tulisan saya juga bisa menjadi masukan untuk semua pihak.

Indonesia sekarang sedang berada pada persimpangan sejarah yang aneh. Pemilihan presiden yang penting ini berakhir dengan hasil Quick Count yang sangat berbeda. Tak ayal, masyarakat menjadi bingung melihat perseteruan hasil Quick Count yang ditayangkan di stasiun TV dan media yang berbeda. Jadi siapakah yang bisa dipercaya? Hasil Quick Count mana yang benar? Apakah memang kita belum mengetahui siapa yang menang sampai KPU mengesahkan hasil pemilu tanggal 22 Juli nanti?

Kebingungan ini sebagian besar karena banyak diantara kita yang kurang mengerti mengenai statistik dan survei. Begitu banyak istilah survei yang bertebaran, bahkan terkadang dengan bahasa asing – metode multi-stage random sampling, margin of error, confidence level, dan lain-lainnya. Jadi, sebelum saya menjawab pertanyaan-pertanyaan diatas, mungkin ada baiknya saya mencoba untuk sedikit menjelaskan apa arti survei dan istilah-istilahnya, serta perbedaannya dengan quick count.

Statistik dan Survei

Sebenarnya fungsi statistik adalah untuk mendapatkan informasi seakurat mungkin berdasarkan data yang tersedia. Memang sederhana, tetapi tentu saja pertanyaan berikutnya adalah bagaimana caranya mengolah data agar bisa mendapatkan informasi yang akurat? Itulah ilmu statistik.

Kita langsung pakai pemilu Indonesia sebagai contoh saja. Bagaimana caranya agar informasi siapa yang rakyat Indonesia inginkan sebagai presiden bisa akurat sampai dengan 100%? Misalkan ada 180 juta pemilih di Indonesia, maka kita harus menanyakan kepada 180 juta rakyat Indonesia agar kita yakin 100% dan 100% akurat siapa yang memenangkan pemilu. Tetapi tentu saja, biaya yang dikeluarkan untuk menanyakan 180 juta orang terlalu besar untuk badan survei. Lagipula, menanyakan seluruh pemilih Indonesia tidak lain tidak bukan adalah pemilu itu sendiri.

Jadi ada metode survei dengan menggunakan sample. Sample itu adalah bagian dari seluruh “populasi,” dalam kasus ini adalah pemilih. Karena hakikatnya sample dari sebuah survei itu jumlahnya jauh dibawah  jumlah populasi, maka tingkat keakuratan dan tingkat keyakinan sebuah survey tidak mungkin mencapai 100%. Dalam ilmu statistik hal inilah yang harus dimengerti pertama kali. Tentu, survei yang baik akan berusaha untuk tidak menggunakan data yang salah untuk mendapat hasil seakurat mungkin dan seyakin-yakinnya dengan biaya yang terbatas. Jadi seberapa akurat sebuah survei digambarkan dengan istilah margin of error, dan confidence level atau tingkat keyakinan.

Margin of error (MoE) adalah angka dimana kita yakin hasil actual berada dibandingkan dengan hasil survei. Misalnya, survei “Ajipon” mengatakan bahwa Prabowo mendapat 50% suara dengan margin of error 2%. Artinya, angka aktual yang Prabowo seharusnya dapat apabila pemilu dilakukan saat itu juga adalah antara 48% sampai dengan 52%. Lalu, confidence level (akan saya sebut tingkat keyakinan berikutnya) menyatakan seberapa yakinnnya survei tersebut terhadap angka yang didapat. Jadi, kalau tingkat keyakinannya adalah 95%, maka hasil ini apabila dibuat menjadi kalimat adalah:

“Survei Ajipon menyatakan bahwa apabila pemilu dilaksanakan sekarang, maka kami 95% yakin bahwa nilai aktual akan berkisar antara 48% sampai dengan 52%.”

Antara MoE dan tingkat keyakinan saling berhubungan. Dengan asumsi jumlah sample yang sama, apabila saya ingin melaporkan MoE yang kecil, maka tingkat keyakinan saya juga akan berkurang. Jadi saya bisa bilang bahwa MoE survey 1%, tapi tingkat keyakinan hanya 80%. Atau dalam bentuk kalimat, “Nilai aktual akan berkisar antara 49% sampai dengan 51%, tapi saya hanya 80% yakin.” Sebaliknya, kalau saya ingin melaporkan tingkat keyakinan yang tinggi, maka saya harus melaporkan MoE yang lebih besar. Misalnya, “Kami yakin 99% bahwa nilai aktual akan berkisar antara 47% sampai dengan 53%.”

Tentu saja, angka MoE dan angka tingkat keyakinan tidak hanya direkayasa atau dibuat sembarangan. Ada formula yang harus dipakai untuk menentukan kedua angka tersebut, tergantung dari jumlah sample yang kita pakai. Dengan metode sample acak sederhana dan populasi yang besar, formula untuk menentukan MoE adalah:

MoE pada tingkat keyakinan 99% = 1,29 / n^0.5

MoE pada tingkat keyakinan 95% = 0,98 / n^0.5

MoE pada tingkat keyakinan 90% = 0,82 / n^0.5

Dimana n adalah jumlah sample sebuah survei. *Angka diatas berasumsi standar distribusi normal, dan didapatkan dari tabel. Saya tidak akan mendalami lagi karena, jujur, saya juga kurang bisa menjelaskan. Untuk lebih jelasnya: http://en.wikipedia.org/wiki/Margin_of_error

Contoh: untuk populasi Indonesia yang terhitung besar, diambil sample dengan 2.000 responden. Maka apabila saya ingin tingkat keyakinan 95%, maka MoE yang saya laporkan adalah 0,98 / 2000^0.5 = 0,98 / 44,72 = 0,0219 atau 2,19%. Apabila saya ingin tingkat keyakinan 99% maka MoE yang saya laporkan adalah 1,29 /44,72 = 0,0288 atau 2,88%. Tentu saja dalam laporan survei untuk artikel media, angka ini dibulatkan.

Disini bisa dilihat bahwa apabila saya ingin MoE yang lebih kecil, sementara tingkat keyakinan ingin saya pertahankan atau ingin tingkatkan, maka sample yang saya gunakan harus lebih besar. Contohnya, apabila saya menggunakan 4.000 responden, maka pada tingkat keyakinan 95%, MoE nya adalah 1.55% dan pada tingkat keyakinan 99%, MoE nya adalah 2.04%.

Dalam survei juga sample yang dipakai harus memenuhi dua syarat: bahwa sample diambil secara acak dan terdistribusi dengan baik mewakilkan populasi umum. Formula diatas berdasarkan metode acak sederhana (sample diambil murni acak tanpa mempertimbangkan lokasi atau demografi seperti rasa tau jenis kelamin atau usia). Banyak metode-metode alternatif untuk mendapatkan sample acak yang terdistribusi baik, tetapi untuk sekarang saya akan asumsikan bahwa sample survei sudah ideal.

Quick Count Pilpres 2014

Dengan ini saya harap istilah-istilah survei lebih jelas. Sekarang mari kita bicarakan Quick Count. Sebenarnya apakah perbedaan Survei dengan Quick Count (QC)? Sebenarnya tidak ada. Metode yang digunakan kurang lebih sama. Tetapi ada dua perbedaan krusial:

Perbedaan pertama adalah, apabila pada survei biasa survei tersebut mengandaikan bahwa pemilu dilakukan saat survei dilaksanakan, pada QC memang hasil aktual pemilu-lah pada saat pemilu dilaksanakan sendirilah yang digunakan. Jadi ini bukan refleksi opini sesaat lagi, tetapi sudah menjadi keputusan yang sudah diambil sample (sebagai bagian dari populasi).

Perbedaan kedua adalah jumlah sample yang tergolong sangat besar. Ini karena data yang digunakan bukan lagi dari hasil mempertanyakan responden satu per satu, tetapi data yang digunakan adalah hasil tabulasi dari beberapa TPS yang secara ideal dipilih dengan acak dan terdistribusi baik. QC dapat mendapatkan data akurat yang sangat besar dengan biaya kecil karena mereka “mendompleng” pemilu yang dibiayai negara.

Tentu saja formula yang saya jabarkan diatas tidak bisa langsung dipakai karena metode sampling yang berbeda, dan yang diacak adalah TPS, bukan responden langsung.

Sekarang, muncul 12 badan survey yang mengadakan QC dengan hasil yang berbeda-beda. Hal ini sudah membingungkan masyarakat umum, sehingga saat ini seluruh masyarakat dihimbau untuk menahan diri sambil menunggu hasil resmi dari KPU.

Tapi apa benar bahwa hasil QC tidak dapat dipegang? Tentu saja tergantung dari metode yang dilakukan. Seharusnya, hasil QC dari berbagai survei, apabila dilaksanakan dengan benar, tidak akan berbeda jauh hasilnya satu sama lain. Tetapi kenyataannya sekarang, hasil-hasil survey sudah sangat jauh, jauh diluar batas normal yang dekat dengan MoE masing-masing.

Sekarang kita jabarkan ke 12 survei

1405018455328202090

Dalam tabel ini, saya tambahkan beberapa kolom. Kolom pertama dan kedua adalah hasil QC Prabowo-Hatta dan Jokowi-JK masing-masing survey. Kolom ketiga adalah MoE yang diklaim oleh masing-masing survei. Kolom ke empat tak lain adalah hasil peralihan Prabowo-Hatta dikurangi dengan MoE, kolom ke lima adalah hasil peralihan Prabowo ditambah dengan MoE, dan begitu pula dengan kolom ke enam dan tujuh adalah hasil peralihan Jokowi dikurang dan ditambah dengan MoE.

Lalu dibawahnya saya tambahkan angka rata-rata peralihan ke dua belas QC. Nah, sekarang perhatikan angka rata-rata ini dibandingkan dengan angka yang ditambah atau dikurangi dengan MoE di kolom kanan sebagai batas. Sering kali angka rata-rata ini berada diluar lingkupan angka yang disesuaikan dengan MoE. Misalnya rata-rata Prabowo 48.62% yang berada diluar angka Prabowo versi Puskaptis (antara 51.05% s/d 53.05%). Atau rata-rata Jokowi 51.36% yang diluar angka Jokowi versi RRI (antara 51.54% s/d 53.54%). Tabel ini hanya mempertegas perbedaan hasil antara lembaga-lembaga QC ini – tanpa tabel ini saja rakyat awam sudah jelas mengerti.

Sekarang saya akan memisahkan ke 12 lembaga menjadi lembaga yang memenangkan Jokowi dan lembaga yang memenangkan Prabowo. Lalu saya buat juga rata-ratanya.

14050185121288706338

Sekarang kita bandingkan angka rata-rata delapan QC yang memenangkan Jokowi. Terlihat bahwa dari delapan QC ini, tujuh diantaranya sudah saling setuju karena rata-rata mereka sudah berada didalam MoE masing-masing, dengan perkecualian QC dari Populi. Kalau saya tidak gunakan data dari Populi yang mungkin metodenya tidak sempurna, maka akan lebih sesuai lagi rata-ratanya dengan hasil survey lain yang masih di MoE.

Lalu kita bandingkan angka rata-rata empat QC yang memenangkan Prabowo.  Disini terlihat bahwa Puskaptis lah satu-satunya QC yang jauh berbeda dibandingkan QC lembaga lain. Bahkan untuk mereka yang beropini bahwa Prabowo menang, hasil Puskaptis pantas dipertanyakan mengapa bisa jauh dibandingkan IRC, LSN, atau JSI.

Apakah Semua Lembaga Survei Sama?

Diluar perbandingan hasil rata-rata, harus juga diperhatikan metode samplingnya. Semua lembaga QC mengaku mengadakan QC dengan menggunakan 2000 TPS dan MoE 1% dengan perkecualian sebagai berikut:

1.SMRC yang menyatakan menggunakan 4.000 TPS dan MoE 0.68%

2.LSN yang tidak ada data TPS maupun MoE

3.Puskaptis yang menggunakan 1.250 TPS

Lalu masih juga faktor-faktor lainnya. Ada yang mengangkat isu tidak jelasnya beberapa website dari beberapa lembaga survey (termasuk juga LSI yang telat update lamannya, tetapi sebagian besar adalah yang memenangkan Prabowo). Ada juga rekam jejak lembaga-lembaga Survei di pemilihan sebelumnya, yang lagi-lagi Puskaptis termasuk yang terburuk. Belum lagi dari keempat lembaga yang memenangkan Prabowo, hanya Puskaptis dan JSI yang termasuk dalam perhimpunan lembaga survei.

Kalau saya tidak hiraukan semua faktor lain, dan saya asumsikan bahwa niat dari lembaga semisal Puskaptis memang baik, maka penjelasan yang memungkinkan adalah bahwa pemilihan TPS mereka jauh dari acak – mungkin TPS yang lebih banyak dipilih adalah daerah basis kekuatan Prabowo.

Tapi jujur, saya sangsi niat baik Puskaptis. Saya ingat saat saya menyaksikan representasi Puskaptis saat muncul di TVOne dan menjelaskan hasil pemilihan di propinsi. Menurut representasi itu (yang sayang saya lupakan namanya), Jokowi memenangkan Banten, Jabar, Gorontalo, dan Papua. Sungguh menggelikan, karena menurut lembaga survei lainnya, justru malah Banten dan Jabar dimenangkan Prabowo dengan perolehan fantastis 60%. Begitu pula dengan Gorontalo. Jadi menurut Puskaptis dan TVOne saat itu, Jokowi kalah di Jateng, Jatim, Bali, dan seluruh Kalimantan. Fantastis bukan? Entah dimana saya bisa konfirmasi hasil Puskaptis tersebut, karena Puskaptis tidak merilis data per propinsi di Internet.

Jadi apabila saya tidak hiraukan Puskaptis, yang tersisa adalah tiga lembaga yang perbedaan hasil suaranya mendekati MoE. Kalau memang tiga lembaga ini acuannya, maka kedua pihak tidak seharusnya menyatakan kemenangan. Malah bisa jadi apabila hasil KPU ternyata (entah bagaimana) bisa menyerupai ketiga lembaga ini, pihak yang kalah tidak akan menerima dan akan meminta tabulasi ulang. Tapi kemungkinan hasil KPU yang jujur menyerupai tiga lembaga survei yang dua diantaranya tanpa jejak rekam dan tidak bergabung dalam himpunan lembaga survei? Sangat amat kecil sekali. Dan tidak lazimnya juga, mengapa TVOne mengontrak sekaligus tiga lembaga survei?

Lamentation Demokrasi Indonesia

Survei ilmiah bukanlah ilmu gaib yang tidak jelas. Angka-angka dapat dipertanggungjawabkan dan diteliti oleh orang manapun. Kalau perlu, semua lembaga pelaksana QC sebaiknya membuka data yang mereka pakai. Kita bisa memilih, apakah akan mempercayai delapan lembaga survei yang informasinya sudah saling menopang dan yang mempunyai kredibilitas, atau empat lembaga survei yang tanpa rekam jejak jelas, bahkan salah satunya pernah bermasalah? Selama data yang dipakai benar dan data tersebut diolah dengan benar, maka ilmu statistik tidak bisa dipermainkan dan informasi yang sudah didapatkan juga benar.

Jangan salah, Jokowi sudah menang dengan jeda suara yang signifikan. Tapi sudahlah, hal ini tidak bisa diterima lawannya, jadi mari kita bersama-sama menunggu hasil resmi KPU tanggal 22 Juli sambil terus mengecek hasil tabulasi yang akan ditaruh di laman KPU. Apa yang sudah dan sedang terjadi sungguh meresahkan masyarakat dan jauh dari ideal hidup berdemokrasi.

Seperti halnya saat pemilihan gubernur di Jakarta tahun 2012, Fauzi Bowo sudah melihat melalui QC perbedaan hasil suara yang tidak dapat disanggah lagi (jauh melebihi MoE). Sebelum KPU mengesahkan hasilnya, Fauzi Bowo sudah dengan legowo mengakui kekalahan agar transisi berjalan tentram. Dan memang terbukti hasil QC dibandingkan dengan hasil KPU yang sah.

Begitu pula dengan pemilu di Amerika Serikat. Kecuali saat hasil pemilihan sangat dekat (seperti di Florida tahun 2000), saat secara statistik seorang kandidat sudah mengetahui akan kalah, dia akan segera menelepon lawannya untuk memberi ucapan selamat, dan keluar ke publik untuk menyatakan kekalahannya. Barulah pemenang pemilu akan keluar membuat pernyataan seputar kemenangannya. Inilah tradisi demokrasi yang baik dan ksatria, yang sayang pada saat ini tidak terjadi. Semoga episode ini bisa menjadi pembelajaran untuk hidup berdemokrasi kita di masa depan.

PS: Ini hasil rangkuman QC saya: Prabowo 47.25% Jokowi 52.75%. Hasil akhir tidak lebih atau kurang dari 0.5%, lebih hebat lagi dari SMRC kan?? Kalau saya salah? Jangan dicari ya.... Baca juga: Mengapa Jokowi Cepat Deklarasikan Kemenangan Angka Quick Count Berubah Cepat? Baca juga artikel berikut ini dari Hidayat Huang mengenai tiga macam error dalam survei. Ingat, Quick Count Punya 3 Error, Jadi Hasilnya Mungkin dan 'Boleh' Berbeda