Meskipun sekilas tampak tidak ada masalah pada praktek tersebut, praktek tersebut telah menimbulkan dampak, yaitu ketidakmampuan sistem untuk mendeteksi penelitian dosen pada value atau dampak nyata pada persoalan di sekitarnya. Ditambah, seorang dosen yang menghasilkan karya pada publikasi bereputasi baik akan hampir selalu kalah dalam perhitungan kenaikan pangkat karena jumlahnya akan kurang dibanding dengan dosen yang menerbitkan banyak dengan kualitas seadanya. Mengingat juga kompleksitas perhitungan angka kredit dosen lainnya (misalnya publikasi yang sudah lewat tidak bisa diakui, komposisi persentase yang memiliki angkat minimal atau maksimal, dan lain sebagainya, yang bisa panjang sekali kalau dibahas), maka tidak mengherankan jika peneliti-peneliti berbakat Indonesia banyak berpindah ke luar negeri.
Dampak kedua, munculnya ketidakpercayaan antara tim penilai kualitas publikasi saat kenaikan pangkat peneliti/dosen. Misal, menurut panduan dengan kualitas seperti itu, dosen bisa mendapatkan angka kredit 40. Tetapi, dengan pertimbangan subyektif dari tim penilai (yang belum tentu dari bidang keilmuan sebidang yang juga tidak percaya sepenuhnya dengan penilaian berbasis Scopus), angka tersebut diturunkan menjadi 20. Belum lagi syarat-syarat yang dirasa tidak perlu, misal pengecekan plagiasi untuk naskah yang sudah terbit. Iya, betul, pengecekan plagiasi untuk naskah yang sudah terbit. Anda tidak salah membaca. Atau bukti korespondensi yang menunjukkan sangking tidak percayanya tim penilai pada proses surat-menyurat atau revisi dari jurnal tersebut.
Penilaian subyektif tim penilai yang berbeda dan tidak dituangkan pada panduan bisa menimbulkan rasa ketidakadilan dan ketidakpuasan pada hasil akhir, dimana ini bukanlah cerita baru yang saya dengar dari dosen-dosen dalam pengajuan kenaikan pangkat. Maka muncul juga ketidaktransparanan dalam penilaian kualitas disebabkan perhitungan kuantitatif dari metric Scopus tidak lagi mencukupi. Bahkan saya dengar-dengar juga, ada faktor keberuntungan bisa diterima pengajuan karya ilmiah pada kenaikan pangkat. Faktor keberuntungan ini adalah representasi kegagalan menjelaskan secara logis atas apa yang terjadi.
Besar dugaan saya, akar dari perilaku tim penilai tersebut terbatasnya instrument yang digunakan untuk menilai kualitas publikasi sehingga tim penilai membutuhkan bahan-bahan lain untuk percaya diri pada penilaiannya. Hal tersebut sebetulnya tidak perlu terjadi jika, instrument untuk menilai kualitas jurnal juga mempertimbangkan reputasi jurnal. Misal, jika jurnal tersebut diketahui memiliki manajemen baik dan juga dikelola oleh akademisi bereputasi baik, maka tidak ada keraguan proses di dalamnya akan bagus. Dengan begitu, tim penilai tidak perlu lagi repot-repot meminta Turnitin, dan lain-lainnya untuk meyakinkan diri tentang reputasi jurnal. Sayangnya hal tersebut tidak bisa dilihat hanya melalui impact factor atau indeks Scopus.
Efek domino dari kedua dampak tersebut diatas adalah merobohkan tiang penyangga pendidikan tinggi kita pada sumber daya manusia (dalam hal ini dosen) dan juga pada nilai-nilai yang ditanamkan kepada generasi penerus. Dosen dapat mengalami demoralisasi akibat proses yang tidak transparan untuk kenaikan pangkat ataupun tidak dihargainya nilai penelitian yang diusulkan, atau juga karena terpilihnya "second best" menjadi leader dalam institusi pendidikan tinggi. Sebagaimana guru kencing berdiri, murid kencing berlari; apa yang bisa dibayangkan dari mahasiswa yang dosen-dosennya berprinsip asal banyak publikasi? Dengan kata lain, kebijakan penilaian dosen/akademisi berdasarkan murni pada jumlah publikasi dan juga kualitas berbasis sitasi saja tidak cukup untuk meningkatkan kualitas penelitian di Indonesia.
Sudah ada beberapa usaha di luar negeri yang dilakukan untuk merespon kontradiksi dari penilaian kualitas akademisi yang berdasarkan jumlah publikasi. Misal, untuk sistem informasi, terdapat ABDC (Australian Business Deans Councils) yang menghasilkan kategori kualitas jurnal. Di UK, terdapat CABS (Chartered Association of Business School) yang juga menghasilkan kategori kualitas jurnal. Baik ABDC maupun CABS menghasilkan kategori kualitas jurnal tidak hanya berdasarkan pada metrik sitasi, tetapi juga penilaian subyektif institusi atau akademisi yang relevan di bidang tersebut dalam menilai value dari jurnal dengan menerima masukan dari berbagai universitas.
Sebetulnya di Indonesia sendiri sudah ada asosiasi-asosiasi keilmuan yang bisa diminta pendapatnya untuk menilai value sebuah jurnal. Misalnya saja, kita punya APTIKOM (Asosiasi Pendidikan Tinggi Ilmu Komputer Indonesia), ada juga APTFI (Asosiasi Pendidikan Tinggi Farmasi Indonesia). Atau asosiasi yang langsung berhubungan dengan bidang ilmu, misal AISINDO (Asosiasi Sistem Informasi Indonesia).
Sayangnya, sepertinya sampai sekarang sepertinya masih adem ayem saja. Meski banyak kasak-kusuk, tulisan sana sini, yang mencoba menggelitik pemerintahan, nampaknya beliau masih enggan mendengarkan. Entah apakah sudah terlalu nyaman dengan apa yang ada, atau memang sudah terlalu banyak yang dikerjakan sampai akhirnya kebingungan sendiri di bagian mana yang harus dikerjakan dahulu?
