Dalam pengembangan model CAT ada dua komponen besar yang dikembangkan yaitu perangkat lunak dan butir soal serta penyediaan perangkat keras tentunya. Dalam pengembangan perangkat lunak dibuat program aplikasi untuk menghitung estimasi kemampuan peserta ujian dan program yang dapat mengeluarkan soal sesuai kemampuan peserta ujian.
Pengembangan butir soal dilakukan dengan mengikuti pengembangan soal teori responsi butir. Dalam teori tersebut dinyatakan ada dua hal yang berpengaruh terhadap hasil ujian yaitu tingkat kesukaran soal (measure) dan tingkat kemampuan peserta ujian (ability). Pengembangan dua komponen utama dilakukan selama bertahun-tahun, sedang untuk pengembangan perangkat keras diserahkan pada satuan pendidikan dan dinas pendidikan atau yayasan pendidikan untuk sekolah swasta.
Pada awalnya, aplikasi CAT telah dikembangkan beberapa tahun yang lalu oleh Puspendik serta telah diujicobakan di Puspendik (2008) kepada peserta didik kelas XI dan XII SMA dan SMK di Jabodetabek. Selanjutnya model ini diujicobakan pada beberapa satuan pendidikan dan secara online di beberapa provinsi. Kelebihan CAT adalah presisi dan efisiensi. Dalam CAT, peserta ujian diukur dengan derajat yang setara karena ujian terus berlanjut sampai kriteria terpenuhi atau kemampuan optimum.
Efisiensi dalam CAT terjadi karena CAT tidak membutuhkan butir soal yang banyak karena dalam ujian komputer secara otomatis dapat mengeluarkan soal sesuai dengan tingkat kemampuan peserta ujian. Berbeda dengan ujian tradisional atau PBT yang dikembangkan dengan teori klasik membutuhkan lebih banyak butir soal karena untuk mengukur kemampuan optimum peserta ujian dapat dilakukan secara berulangulang hingga perlu soal banyak (Gregory: 2013).
Lebih lanjut Gregory membandingkan jumlah butir soal untuk ujian sertifikasi tertulis membutuhkan butir soal 200-500 soal sedang melalui CAT hanya diperlukan sekitar 100 soal. Oleh karena itu, pendekatan CAT banyak digunakan oleh organisasi besar di dunia seperti Angkatan Darat dan Educational Testing Service di Amerika Serikat, serta organisasi profesi seperti bidang psikologi dan kedokteran. Pendekatan CAT dalam ujian akhir sangat menguntungkan dan efisien namun dalam proses pengembangan butir soal sangat rumit karena butir harus dikembangkan menurut teori responsi butir (item response theory), soal sudah terkalibrasi, dan tersedia soal dengan tingkat kesukaran sesuai atau mendekati kemampuan peserta ujian (Bagus, 2012), sementara sebagian besar satuan pendidikan masih menggunakan ujian nasional secara tertulis. Â
Euphoria UNBK
Sesuai pengalaman mengawas UNBK setahun tahun lalu sebagaimana di jelaskan dalam situs kompasiana yang terbit 4/4 2017, ujian menggunakan komputer lebih baik dan menguntungkan dibandingkan dengan ujian menggunakan kertas dan pensil. Mengapa? UNBK lebih hemat waktu. Bandingkan ketika menggunakan kertas dan pencil, siswa peserta ujian membutuhkan waktu khusus untuk penghitaman.
Untuk penghitaman, para guru sudah mengingatkan agar siswa sangat hati-hati, sebab, katanya kalau penghitaman tidak baik bisa berdampak buruk bagi peserta ujian saat pemeriksaan. Begitupun kalau hendak mengganti jawaban. Sulit sekali, karena harus menghapus kembali penghitaman sebelumnya, lalu membuat penghitaman lagi pada alternatif jawaban yang baru.
Proses ini bisa menghabiskan lebih dari alokasi waktu 2,4 menit tiap nomor untuk menjawab 50 butir pertanyaan selama 120 menit. Dengan sistim UNBK waktu 2,4 menit untuk tiap soal bisa dimanfaatkan lebih efektif untuk membaca soal dan berpikir menemukan jawaban. Lalu dengan sekali klik pada opsi jawaban waktu tidak diboroskan untuk penghitaman opsi jawaban apalagi kemudian menghapus dan mengganti jawaban baru.
Karena opsi jawaban bisa dipilih dengan cara sangat gampang dan dalam waktu detik dengan mengklik pada pilihan A, B, C, D atau E pada layar komputer. Pilihan juga bisa dengan cara menekan tombol A, B, C, D atau E pada keyboard komputer. Demikian pula ketika peserta ujian hendak mengubah jawaban, bisa dengan memilih dan menuju nomor tertentu lalu langsung mengganti jawaban dengan memilih opsi jawaban tanpa proses panjang dan berbelit. Satu kelebihan lainnya yang bisa bermanfaat bagi peserta ujian adalah fasilitas "ragu-ragu".
