Menggugat Metode Survei GRP

Perusahaan riset pemasaran PT. Grup Riset Potensial (GRP), baru-baru ini mengejutkan banyak pihak. Baik dari publik yang mengikuti berbagai hasil survei elektabilitas, maupun kalangan praktisi dan petinggi lembaga survei/polling politik. Bukan hanya menyajikan hasil elektabilitas yang berbeda, GRP menggunakan metodologi survei dan analisis yang tidak biasa dilakukan oleh lembaga-lembaga survei/polling politik di Indonesia.

Pro-kontra terhadap hasil survei dan metodologi lembaga ini sempat menjadi bahan perbincangan di kalangan netizen, karena hasil yang disajikan oleh GRP seakan menguntungkan satu pihak. Maka independensi lembaga ini pun kemudian dipertanyakan.

Terkait hal ini sebenarnya, saat presentasi hasil rilis, diungkapkan bahwa survei GRP berikut peta elektabilitas terbuka secara online dan dapat digunakan oleh semua pihak, seperti timses paslon, media, lembaga survei, dan peneliti, dengan mengajukan permohonan akses.

Bila survei tersebut benar atas pesanan salah satu pasangan calon atau pihak lain, penyebaran atas hasil riset pesanan kepada pihak lain tentunya menyalahi kode etik internasional bagi lembaga riset, dan pihak pemesan yang membayar tentunya akan menggugat lembaga riset yang menyebarkan hasil risetnya kepada pihak lain. Dengan kenyataan tersebut, GRP ingin membuktikan bahwa Survei yang dilakukan bukan atas pesanan suatu pihak.

Pada tulisan ini saya tidak ingin menyoroti tentang hasil survei GRP, melainkan akan fokus membahas perkara metodologi dan pendekatan yang digunakan oleh perusahaan tersebut menyangkut metode sampling. Sedangkan untuk istilah multinomial logit, saya persilakan kepada pembaca untuk menelusuri makna definitifnya di berbagai jejaring internet, niscaya Anda akan banyak menemukan tautan mengenai penjelasan metode pemodelan tersebut.

Dalam surveinya, GRP membawa metode sampling yang tidak lazim digunakan oleh lembaga-lembaga survei/polling di Indonesia selama ini, yaitu Stratified Systematic Sampling. Di saat hampir semua lembaga survei/poliing yang ada berlindung di balik metode Multistage Random Sampling.

Penasaran dengan apa kelemahan dan kelebihan dari kedua metode tersebut, saya mencoba untuk melakukan googling. Hasil pertama menggunakan kata kunci “Multistage Random Sampling” dan yang keluar adalah “Multistage Sampling”.  Sangat menarik, pada salah satu tautan Wikipedia (sumber) terungkap penjelasan seperti ini:

Advantages

Cost and speed that the survey can be done in

Convenience of finding the survey sample

Normally more accurate than cluster sampling for the same size sample

Disadvantages

Not as accurate as Simple Random Sample if the sample is the same size

More testing is difficult to do

Dalam tautan lain, menurut laman research metodology (sumber), uraiannya lebih lengkap lagi:

Advantages of Multi-Stage Sampling

Effective in primary data collection from geographically dispersed. population when face-to-face contact in required (e.g. semi-structured in-depth interviews)

Cost-effectiveness and time-effectiveness.

High level of flexibility.

Disadvantages of Multi-Stage Sampling

High level of subjectivity.

Research findings can never be 100% representative of population.

The presence of group-level information is required.

Ada dua hal penting dari kekurangan metode Multistage Sampling dari kedua artikel di atas, yaitu (1) Tidak seakurat Simple Random Sampling, artinya margin of error yang selama ini diklaim oleh semua lembaga tidak sesuai dan seharusnya lebih besar. (2) Hasil riset/survei dengan metode ini tidak akan pernah 100% mewakili populasi. Sedangkan selama ini para lembaga survei menyatakan hasil risetnya mewakili populasi.

Lalu mengapa para lembaga survei yang selama ini mengklaim menggunakan metode multistage random sampling menuliskan “mewakili populasi dengan margin of error x%?” Apakah sebab yang melatar belakangi hal tersebut? Adakah faktor ketidak tahuan, dan atau memang sengaja mengabaikan untuk tujuan tertentu?

Saya pun kemudian melanjutkan penelusuran di  internet, dengan kata kunci “Stratified Sampling”. Pada tautan Stat Trek (sumber) diungkapkan bahwa:

“Stratified sampling has several advantages over simple random sampling. For example, using stratified sampling, it may be possible to reduce the sample size required to achieve a given precision. Or it may be possible to increase the precision with the same sample size.” 

Jadi, stratified sampling sejujurnya lebih teliti dari metode simple random sampling. Sedangkan multistage sampling tidaklah seakurat metode simple random sampling. Dengan demikian, sejatinya bisa disimpulkan bahwa Stratified Sampling lebih teliti dari Multistage Sampling.

Di tautan lain, melalui laman Wikipedia, paparan definisi stratified sampling lebih gamblang dibahas (sumber). Berikut ini saya sunting beberapa poin pentingnya:

“In statistical surveys, when subpopulations within an overall population vary, it is advantageous to sample each subpopulation (stratum) independently.” 

Jadi bila populasinya heterogen, disarankan untuk melakukan sampling di setiap strata.

“This often improves the representativeness of the sample by reducing sampling error. It can produce a weighted mean that has less variability than the arithmetic mean of a simple random sample of the population”. 

Sangat jelas dari kalimat ini bahwa stratified sampling meningkatkan keterwakilan (representativeness), padahal sebelumnya terungkap bahwa multistage sampling tidak akan pernah bisa merepresentasikan 100% populasi.

“A real-world example of using stratified sampling would be for a political survey. If the respondents needed to reflect the diversity of the population, the researcher would specifically seek to include participants of various minority groups such as race or religion, based on their proportionality to the total population as mentioned above”. 

Tampaknya, langkah-langkah seperti inilah yang dilakukan oleh GRP saat memaparkan metodologinya.

Advantages : The reasons to use stratified sampling rather than simple random sampling include [1]  If measurements within strata have lower standard deviation, stratification gives smaller error in estimation. [2] For many applications, measurements become more manageable and/or cheaper when the population is grouped into strata. [3] It is often desirable to have estimates of population parameters for groups within the population.

Dari bahasan sekilas di atas, publik penikmat survei-survei sosial dan politik dan para praktisi survei sosial/politik dapat menilai secara keilmuan apakah metode sampling yang digunakan GRP, seakan menerobos kelaziman selama ini, dapat dipertanggung jawabkan. Ataukah para lembaga survei politik di Indonesia yang terlena dengan copy-paste metode yang sebenarnya banyak kekurangannya dalam aspek ketelitian dan keterwakilan?