Menggugat Validitas dan Reliabilitas Hasil Survei

kategori hasil survei. Sumber: explorable.com

Banyak orang yang terkaget kaget ketika Donald Trump memenangkan pemilihan presiden Amerika, padahal hampir semua survei menyatakan keunggulan Hillary Clinton dengan angka yang menyakinkan.

Demikian juga hasil survey terakhir yang dikeluarkan oleh hasil survei Lingkaran Survei Indonesia (LSI) pimpinan Denny J.A. yang menyatakan bahwa elektabilitas pasangan Anies-Uno menduduki peringkat pertama dengan 31,9%, Agus - Silvy dengan 30,9%,  sedangkan pasangan Ahok-Djarot menduduki peringkat paling buncit dengan capaian hanya 10.6%.

Hasil survey di atas membuat banyak orang berkerut dahinya sekaligus mempertanyakan faktor  apa saja  yang sebenarnya menentukan akurasi suatu survei. 

Dengan asumsi bahwa lembaga survei ini jujur dan memiliki niat mulia untuk memberikan gambaran yang sesungguhnya pada masyarakat akan elektabilitas pasangan calon, ada baiknya kita membedah lebih dalam faktor apa saja yang membuat suatu hasil survei agar dapat kita percayai.

Validitas dan Reliabilitas

Ada dua istilah yang sangat menetukan akurasi suatu survei, yaitu validitas dan reliabilitas.  Lembaga survei yang terpecaya harus memenuhi persyaratan minimal dalam melaksanakan surveinya.

Dalam mendapatkan data yang berkualitas lembaga survei harus memperhatikan banyak hal diantaranya : metode pengumpulan data, usaha mendapatkan responden, pertanyaan, urutan, format, struktur dan layout prilaku pemilih yang akan diukur, akurasi informasi dll. Tanpa memenuhi prasarat di tas, maka hasil suatu survei tidak akan memenuhi kriteria validitas dan reliabilitas.

Validitas dan reliabilitas harus dipenuhi dalam melakukan survei. Sumber: www.relevantinsights.com

Validitas hasil suatu survei  lebih menekankan kepada akurasi pengukuran preferensi dan erat hubungannya dengan keterwakilan sampel yang diambil.  Disamping itu validitas juga dipengaruhi juga oleh rancangan survei yang kualitasnya sangat tergantung pada kualitas pertanyaan yang diajukan pada responden.

Data empiris menunjukkan banyak survei yang dilakukan oleh pembaga survei dikategorikan dalam face validity yang lebih mementingkan hasil yang sesuai dengan tujuan dilakukannya survei.  Banyak pertanyaan yang diajukan kelihatannya masuk akal untuk mendapatkan informasi yang diinginkan, namun tidak memenuhi persyaratan untuk memenuhi validitas.

Reliabilitas lebih terkait dengan konsistensi pengukuran yang dilakukan dalam suatu survei.

Dalam suatu survei validitas dan reliabilitas terkadang tidak sejalan.  Reliabilitas sangat diperlukan namun terkadang tidak cukup membuat havil suatu survei menjadi valid.

Pada kenyataannya hasil suatu survei dapat saja reliabilitasnya tinggi namun sekaligus validitasnya rendah. Kondisi seperti ini terjadi jika banyak pertanyaan yang salah dipertanyakan berkali kali pada responden, sehingga menghasilkan penyimpangan hasil yang sistematis.

Disamping itu jika hasil suatu survei memiliki keragaman tinggi, maka kemungkinan survei tersebut valid namun tidak reliabel. Oleh sebab itu,  hasil suatu lembaga survei yang dapat dipercaya harus menuhi  kreteria reliabilitas dan validitas. 

Jadi akurasi survei elektabilitas pasangan peserta pemilu tidak hanya ditentukan oleh ukuran sampel yang diambil dan juga margin error semata yang sering didengungkan oleh lembaga survei, namun sangat tergantung pada metodologi yang digunakan dalam penentuan populasi mana yang akan disurvei, kriteria skrening  dan juga cara memformulasikan pertanyaan yang diajukan.

Hasil survei yang akurat memenuhi tiga kriteria ini. Sumber: www.thewisdomthatworks.com

Disamping faktor yang yang telah diuraikan di atas terdapat banyak faktor lain yang mempengaruhi akurasi suatu survei, yaitu keberpihakan media dan  jurnalis pada suatu pasangan peserta pemilu, atau sebaliknya kebencian media dan jurnalis pada salah satu pasangan.

Hal yang perlu diingat adalah memprediksi masa depan itu merupakan sesuatu yang sulit dilakukan kecuali dengan menggunakan metode yang tepat. Disamping itu dalam melakukan survei, lembaga survei seringkali menghadapi kendala menghubungi respondan yang representatif.

Kebanyakan responden enggan dilibatkan dalam suatu survei baik yang dilakukan melalui telpon maupun wawancara langsung.  Dalam situasi seperti ini lembaga survey tentunya  tidak akan mendapatkan sampel yang representatif  sehingga mempengaruhi validitas dan reliabilitas hasil surveinya.

Dalam era pemilu seperti saat ini moralitas dan reputasi suatu lembaga survei akan dipertaruhkan.  Vonis apakah suatu lembaga survei dapat dipercaya akan ditentukan saat hasil pemilu dikeluarkan secara resmi.

Rujukan :satu, dua, tiga, empat, lima