Namun demikian, jika saya melakukan survey dengan baik, fluktuasi dari angka yang saya peroleh tidak akan terlalu besar, katakan antara 45-52 orang. Dengan kata lain, margin of error dari survey yang saya lakukan tidak besar, survey saya bagus. Bandingkan kalau survey saya menghasilkan perkiraan angka antara 10 sampai 100. Dengan margin of error yang besar tersebut, sulit sekali merencanakan berapa lumpia yang harus saya siapkan tiap Minggu, tanpa berisiko membuang terlalu banyak lumpia atau kehilangan terlalu banyak pembeli.
Menentukan jumlah dan cara pengambilan sampel akan sangat mempengaruhi kualitas survey saya, dan saya harus merencanakan ini sebelum saya benar-benar pergi menanyakan pertanyaan saya. Intinya sih, saya ingin benar-benar yakin kalau sampel saya mewakili populasi yang menjadi target survey saya. Saya ingin kalau 1000 orang yang saya survey akan mewakili 100 ribu orang yang tinggal di kelurahan tersebut. Kalau saya melakukan survey saya lewat telefon, ada kemungkinan saya tidak memperoleh perwakilan dari warga yang tidak mempunyai telepon. Demikian juga dengan survey melalui internet, atau dengan cara-cara pengambilan sampel dengan alasan kemudahan saja, convenient sampling.
Oleh karenanya, pengambilan sampel harus dilakukan menurut metode yang valid secara statistik untuk memastikan keterwakilan tersebut. Malahan, survey-survey besar biasanya menggabungkan beberapa metode. Saya tidak akan membahas metode-metode apa itu, intinya sih, agar menghasilkan angka yang bisa dipercaya, survey harus dilakukan dengan mengikuti kaidah-kaidah ilmiah tertentu. Kesalahan metodologi dalam pelaksanaan survey bisa menghasilkan hasil yang menyesatkan.
Apakah dagelan survey disebabkan oleh kualitas survey yang timpang antara satu dengan yang lain, atau kah karena satu survey disponsori oleh pihak berbeda dari survey yang lain? Sulit dikatakan karena jarang sekali kita mengetahui informasi lengkap tentang metodologi yang digunakan satu lembaga survey (sehingga, reputasi satu lembaga survey menjadi penting untuk menaruh kepercayaan terhadap satu survey dibanding yang lain).
Survey dari GPK, Gerakan Pemuda Keadilan, sebenarnya sah-sah saja jika hasilnya dipakai untuk menggambarkan sikap 1589 warga yang disurvey. Tapi kalau hasil tersebut digeneralisir sebagai suara seluruh populasi Jakarta (belum lagi, informasi yang dipublikasikan semua bersifat negatif, kok bisa?), saya rasa itu sangat merendahkan kapasitas intelektual pembaca survey. Be smart, please.
