Untuk memastikan bahwa butir-butir soal yang ditulis telah memenuhi tuntutan soal yang baik, sebelum diujicobakan haruslah terlebih dahulu dilakukan telaah butir soal. Dengan telaah butir soal akan ditemukan berbagai kesalahan dan kekeliruan yang dapat mengganggu dan sebaliknya, juga dapat dipastikan kualitas butir soal yang bersangkutan. Jika terdapat sejumlah kesalahan atau kekeliruan, kekurangtepatan, dan lain-lain yang kuarang baik, akan dapat dilakukan revisi, pembenahan-pembenahan di sana sini yang diperlukan. Penelaahan sebaiknya dilakukan oleh orang lain yang ahli di bidangnya (sekaligus berfungsi sebagai penilai) atau oleh sejawat. Jika telaah dilakukan oleh penulis sendiri, biasanya kurang teliti karena penulis boleh jadi hanya membaca yang ada di konsep pikiran dan bukan yang ada di kertas.
Penelaahan butir soal dapat disebut juga sebagai telaah kualitatif redaksional. Kegiatan ini mengandalkan pertimbangan logika, baik yang menyangkut logika keilmuan (materi), logika penyusunan butir soal (konstruksi), maupun cara membahasakan soal (bahasa). Itulah sebabnya penelaah haruslah dilakukan oelh orang yang ahli di bidang atau sebidang dengan mata pelajaran yang bersangkutan. Jika dimungkinkan penelaah sebaiknya dilakukan oleh lebih dari satu orang, tepatnya dua orang, sehingga dapat saling melengkapi dan karenanya lebih meyakinkan.
Penelaahan biasanya menggunakan lembar yang telaah yang telah disiapkan, dan paling lazim adalah untuk soal objektif bentuk pilihan ganda. Lembar telaah tersebut berisi pernyataan-pernyataan yang harus terpenuhi oleh tiap butir soal yang secara garis besar berisi tiga tuntutan dari segi materi, konstruksi, dan bahasa. Kegiatan penelaahan dilakukan dengan mencermati tiap butir soal dan kemudian mencocokkannya dengan butir-butir kriteria pada lembar telaah. Jika sesuai dengan kriteria diberi tanda conteng (V) dan jika sebaliknya diberi tanda hubung (-). Butir-butir yang mempunyai ketidaksesuaian dengan tuntutan kriteria harus direvisi atau jika terdapat beberapa ketidaksesuaian bahkan harus diganti. Alat evaluasi yang telah ditulis berdasarkan kisi-kisi dan diketahui telah sesuai dengan kriteria lembar telaah dapat dinyatakan sebagai telah memenuhi tuntutan validitas isi sebuah alat tes. Validitas isi adalah validitas alat evaluasi yang harus terpenuhi dalam pengembangan alat evaluasi hasil pembelajaran.
Pelaksanaan Uji Coba
Uji coba adalah pelaksanaan pengukuran dengan memergunakan instrumen tes yang telah dikembangkan. Dari pelaksanaan pengukuran inilah akan diperoleh data empirik yang menunjukkan kualitas atau informasi tentang alat tes yang bersangkutan. Misalnya informasi tentang efektivitasbutir-butir soal (tingkat kesulitan, daya beda, butir pengecoh), validitas empirik (jika diinginkan), reliabilitas, dan lain-lain yang dibutuhkan. Agar hasil uji coba mampu memberikan informasi yang benar, pelaksanaannya harus dilakukan sedemikian rupa sehingga semuanya berjalan sesuai harapan.
Uji coba alat tes ini amat dibutuhkan jika kita bermaksud menghasilkan alat tes yang benar-benar baik dan dapat dipertanggungjawabkan, misalnya karena akan dipergunakan untuk penelitian. Namun, untuk keperluan pengujian di kelas sendiri, misalnya untuk ulangan, atau ujian akhir semester, uji coba tersebut sekjaligus dimaknaisebagai pelaksanaan tes yang sebenarnya. Artinya, hasil ujian itulah yang dimaknai sebagai capaian peserta didik menguasai berbagai kompetensi yang dibelajarkan.
Analisis Butir Soal dan Jawaban
Hasil uji coba alat tes memberikan data empirik untuk keperluan berbagai analisis kuantitatif untuk menilai kualitas alat tes yang bersangkutan dan melakukan tindak lanjut penilaian. Analisi kuantitatif di antaranya analisi butir soal dan analisis jawaban per indikator.
Analisis butir soal diperlukan jika kiat bermaksud mengembangkan alat evaluasi yang baik dan dapat dipertanggungjawabkan terutama jika digunakan untuk penelitian. Di pihak lain, analisis jawaban butir soal per indikator per kemampauan dasar dipergunakan sebagai masukan umpan balik pembelajaran, misalnya untuk mengembangkan program remedial baik klasikal maupun individual.
Analisis Butir Soal
Analisis butir soal dapat dilakukan dengan mendasarkan pada teori pengukuran klasik dan dapat pula dengan teori pengukuran modern (yang dikenal dengan teori respon butir). Analisis butir soal untuk teori pengukran klasik biasanya dilakukan dengan menghitung indeks tingkat kesulitan (ITK), indeks daya beda (IDB), dan efektifitas distraktor. ITK akan memberikan informasi tentang seberapa mudah atau sulit sebuah butir soal. IDB membedakan kelompok tinggi dengan kelompok rendah. Sedangkan efektifitas distraktor tentang kemampuan distraktor untuk mengecoh peserta ujian.
