Proses ini melibatkan beberapa langkah seperti merumuskan masalah, merencanakan pengumpulan pendapat ahli, memilih ahli yang tepat, dan menganalisis serta menggabungkan informasi untuk menghasilkan penilaian
Dalam praktiknya, expert judgement sering melibatkan teknik delphi method, yaitu suatu pendekatan yang mengumpulkan pendapat dari sejumlah ahli melalui beberapa putaran, dengan tujuan mencapai konsensus tanpa pengaruh dominan dari satu pihak.
Dalam konteks penelitian, expert judgement sering kali digunakan untuk menguji validitas isi instrumen penelitian.
Dua teknik yang umum digunakan adalah Content Validity Ratio (CVR) dan Content Validity Index (CVI).
CVR menghitung seberapa banyak ahli setuju bahwa item tertentu relevan dengan tujuan penelitian, sedangkan CVI mengukur kesepakatan antar penilai mengenai relevansi item (Wardhani, 2021).
Teknik lainnya termasuk Nominal Group Technique (NGT) atau metode brainstorming yang terstruktur.
Syarat-Syarat yang Harus Dipenuhi
Agar expert judgement efektif, ada beberapa syarat yang perlu dipenuhi (Bolger & Wright, 1994):
1. Keahlian dan Kredibilitas: Orang yang dianggap ahli harus memiliki pengalaman dan pengetahuan yang relevan di bidang yang sedang dieksplorasi. Kredibilitas mereka sangat penting karena keputusan yang diambil akan bergantung pada penilaian mereka.
2. Ketersediaan Waktu dan Sumber Daya:Â Proses pengumpulan expert judgement sering kali memerlukan waktu dan sumber daya yang cukup, terutama jika melibatkan banyak ahli atau putaran konsultasi.
3. Keterbukaan dan Objektivitas:Â Meskipun penilaiannya berbasis pengalaman dan intuisi, para ahli harus tetap terbuka terhadap informasi baru dan bersikap objektif dalam memberikan penilaiannya.