Beberapa waktu yang lalu, dunia akademisi digegerkan oleh publikasi yang dilakukan oleh Fry dan kawan-kawan (2023) dengan karyanya yang berjudul "Ranking researchers: Evidence from Indonesia". Pada publikasi di jurnal bernama Research Policy tersebut, disebutkan bahwa perangkingan yang dilakukan Indonesia telah berhasil mengubah perilaku peneliti Indonesia yang ditunjukkan dengan meningkatnya citation index. Manuskrip tersebut mendapatkan sanggahan dari rekan-rekan dosen dan peneliti Indonesia yang juga diterbitkan jurnal yang sama berjudul "Comments on 'Ranking researchers: Evidence from Indonesia'", yaitu Bapak Dasapta Irawan dan kawan-kawan yang diprovokasi oleh Profesor Yahdi Zaim dan juga mendapatkan feedback dari Dr. Tri Wahyu Hadi dari ITB. Sanggahan tersebut salah satunya penekanan pada kualitas penelitian daripada terbatas pada penilaian kuantitatif.
Saat membaca  naskah tersebut, saya segera melakukan penelusuran mengenai latar keilmuan Profesor Yahdi Zaim. Rupanya beliau memiliki latar belakang keilmuan berkaitan dengan ilmu kebumian, mungkin bahasa umumnya geologi (mohon maaf jika salah). Hati kecil saya berteriak kegirangan. Apa yang rupanya dirasakan oleh keilmuan lain ternyata sama dengan apa yang saya dan rekan-rekan saya rasakan.
Tepat beberapa saat sebelum saya membaca naskah Fry (2023), saya, pak Dedy Inan dari Papua, dan pak Romy Wahono di Jakarta sudah rasan-rasan tentang keluhan dari tekanan kebijakan kualitas penelitian, baik untuk syarat hibah ataupun kenaikan pangkat. Ibarat seperti mestakung, kata professor Johanes Surya, kami, dari tempat berbeda, dengan latar keilmuan berbeda, ditakdirkan untuk bertemu di dunia tulisan dengan pemikiran sama. Saya merasa, ini saatnya saya juga mengajak peneliti lain di bidang lain untuk mari bersama-sama menyampaikan suara tentang ini dengan lantang.
Baik, sebelum saya mulai meracau membahas rasan-rasan kami (yang mungkin juga akan di-amin-kan oleh teman-teman satu perjuangan), saya ingin menjelaskan sedikit dahulu sejarah terjadinya kebijakan ranking peneliti. Artikel dari Kompas bulan April tahun 2016 berjudul "Mengapa kita "kalah" dari Malaysia" tentang jumlah publikasi terindeks Scopus di Indonesia yang kurang dari seperlima publikasi di Malaysia. Menindaklanjuti hal tersebut, pemerintah Indonesia berusaha mendongkrak penelitian dengan memberikan insentif, membebankan kuota publikasi kepada dosen-dosen yang senior, dan memasukkan publikasi sebagai syarat untuk kelulusan pada beberapa level perguruan tinggi misalkan S3.
Dalam upaya tersebut, pemerintahan Indonesia melakukan kebijakan penilaian kualitas dosen berdasarkan jumlah publikasi dengan menggunakan Scopus sebagai standar kualitas (misal syarat menjadi professor atau ke lektor kepala untuk dosen). Indeksasi Scopus dikelola oleh Elsevier yang berpusat di Belanda semenjak 2004 (Lembaga non profit). Scopus 4 memiliki peringkat pada jurnal-jurnal yang terdaftar diindeksasi yaitu: Q1, Q2, Q3, dan Q4, dengan Q1 adalah peringkat tertinggi dan Q4 peringkat terendah. Misalkan, angka kredit dosen diberikan lebih tinggi jika publikasi di jurnal yang terindeks Scopus Q1, yaitu maksimal 40. Sedangkan jika terindeks di Scopus Q4, akan mendapatkan nilai kurang dari 40, tersebut bergantung kepada tim penilai angka kredit. Contoh lainnya adalah hibah-hibah penelitian yang mensyaratkan pengusul memiliki H-indeks Scopus minimal 4. H-indeks Scopus adalah indeks sitasi sang penulis pada naskah terdaftar pada Scopus yang merujuk kepada seluruh publikasi penulis yang juga terdaftar pada Scopus. Dengan kata lain, hanya menghitung naskah yang terdaftar pada Scopus.
Sebelum saya masuk membahas mengenai ketidakadilan pada kebijakan yang hanya jumlah publikasi dan mengandalkan Scopus untuk mengukur kualitas, saya ingin menunjukkan bagaimana nilai Q1 sampai dengan Q4 dihitung. Secara kasar, scopus akan mengelompokkan jurnal berdasarkan bidang keilmuan, lalu menghitung jumlah sitasi setiap jurnal selama 4 tahun dibagi dengan jumlah penerbitan, disebut sebagai SJR (Scimago Journal Ranking). Jika sitasi tinggi, maka SJR akan tinggi. Kemudian untuk seluruh jurnal diurutkan SJR-nya dari tertinggi sampai terendah. Seperempat tertinggi akan masuk ke Q1, seperempat kedua masuk ke Q2, dan seterusnya sampai seperempat terakhir ada di Q4.
Apa masalahnya dengan cara seperti itu? Sebuah jurnal bidang ilmu yang sangat spesifik dengan jumlah jurnal sedikit bisa memiliki SJR rendah tetapi berada pada Q1. Sedangkan ada jurnal bidang ilmu yang luas dan sudah lama dengan jumlah jurnal sangat banyak, bisa memiliki SJR tinggi tetapi berada pada Q3.
Selain itu, karena sangat bergantung kepada sitasi, SJR pada jurnal-jurnal yang bersifat open access, akan memiliki SJR tinggi. Open access artinya semua orang dapat mengakses jurnal tanpa perlu berlangganan. Biaya berlangganan ini sangat besar. Saya mendengar biaya berlangganan Elsevier, katanya bisa mencapai 1 milyar per-tahun untuk level universitas. Untuk jurnal open access, dimana pembaca dapat membaca publikasi tanpa  berlangganan, si penulislah yang membayar biaya penerbitan. Harganya beragam mulai dari 10 juta sampai dengan 40 juta per-naskah, yang pasti kalau terindeks Scopus, tidak ada yang gratis.
Pada banyak open access journal meskipun saya tidak menuduh kepada seluruh open access, sebagai timbal balik dari bayaran yang tidak sedikit dari penulis, terkadang reviewer diminta untuk melakukan review dalam waktu sangat singkat yaitu 1 minggu. Â Karena hal tersebutlah maka banyak dosen-dosen yang lebih mementingkan kualitas menjadi "sangsi" dengan kualitas publikasi di open access journal meskipun jika dihitung SJR nya masuk ke dalam Q1. Dengan durasi yang review yang sangat singkat, beberapa dosen melihat jurnal-jurnal tersebut mendekati predator meskipun belum se-gelap jurnal predator dimana jurnal predator akan menerbitkan seluruh naskah yang diterima asalkan membayar biaya publikasi. Â
Penelitian dari Butler tahun 2003 pada publikasi berjudul "Explaining Australia's increased share of ISI publications---the effects of a funding formula based on publication counts", menunjukkan bahwa di Australia, meskipun citation index meningkat tajam hingga 25%, peringkat Australia dalam OECD malah turun yang menunjukkan perhitungan kualitas akademisi berdasarkan jumlah yang dihitung kuantitatif saja tidak membuat maju negara. Kekhawatiran sama, kejadian yang sama saat ini sedang terjadi juga di Indonesia.
Di Indonesia ini, salah satu dampak penilaian kualitas akademisi berdasarkan kuantitas publikasi yang dinilai dengan Scopus, adalah prioritas publikasi yang asal-asalan. Asal untuk memenuhi syarat hibah cair, atau jumlah angka kredit yang dapat digunakan untuk naik pangkat. Misal, beberapa dosen memilih untuk menerbitkan di jurnal yang kualitasnya tidak bereputasi baik, tetapi terindeks Q2 dalam jumlah banyak (misal satu tahun 3-4 jurnal, bahkan ada yang lebih), daripada mengejar kualitas yang membuat hanya dapat satu naskah dalam 1 tahun. Toh saat dijumlahkan, jumlah banyak akan menghasilkan nilai lebih lebih banyak terlepas dari value penelitiannya. Atau, seorang dosen akan memilih menerbitkan naskah di jurnal-jurnal Q1 yang berbentuk open access jika memiliki dana cukup dimana tidak semua jurnal tersebut tidak memiliki reputasi baik. Siapa yang tidak mau dengan usaha lebih sedikit, memperoleh nilai lebih banyak?
Meskipun sekilas tampak tidak ada masalah pada praktek tersebut, praktek tersebut telah menimbulkan dampak, yaitu ketidakmampuan sistem untuk mendeteksi penelitian dosen pada value atau dampak nyata pada persoalan di sekitarnya. Ditambah, seorang dosen yang menghasilkan karya pada publikasi bereputasi baik akan hampir selalu kalah dalam perhitungan kenaikan pangkat karena jumlahnya akan kurang dibanding dengan dosen yang menerbitkan banyak dengan kualitas seadanya. Mengingat juga kompleksitas perhitungan angka kredit dosen lainnya (misalnya publikasi yang sudah lewat tidak bisa diakui, komposisi persentase yang memiliki angkat minimal atau maksimal, dan lain sebagainya, yang bisa panjang sekali kalau dibahas), maka tidak mengherankan jika peneliti-peneliti berbakat Indonesia banyak berpindah ke luar negeri.
Dampak kedua, munculnya ketidakpercayaan antara tim penilai kualitas publikasi saat kenaikan pangkat peneliti/dosen. Misal, menurut panduan dengan kualitas seperti itu, dosen bisa mendapatkan angka kredit 40. Tetapi, dengan pertimbangan subyektif dari tim penilai (yang belum tentu dari bidang keilmuan sebidang yang juga tidak percaya sepenuhnya dengan penilaian berbasis Scopus), angka tersebut diturunkan menjadi 20. Belum lagi syarat-syarat yang dirasa tidak perlu, misal pengecekan plagiasi untuk naskah yang sudah terbit. Iya, betul, pengecekan plagiasi untuk naskah yang sudah terbit. Anda tidak salah membaca. Atau bukti korespondensi yang menunjukkan sangking tidak percayanya tim penilai pada proses surat-menyurat atau revisi dari jurnal tersebut.
Penilaian subyektif tim penilai yang berbeda dan tidak dituangkan pada panduan bisa menimbulkan rasa ketidakadilan dan ketidakpuasan pada hasil akhir, dimana ini bukanlah cerita baru yang saya dengar dari dosen-dosen dalam pengajuan kenaikan pangkat. Maka muncul juga ketidaktransparanan dalam penilaian kualitas disebabkan perhitungan kuantitatif dari metric Scopus tidak lagi mencukupi. Bahkan saya dengar-dengar juga, ada faktor keberuntungan bisa diterima pengajuan karya ilmiah pada kenaikan pangkat. Faktor keberuntungan ini adalah representasi kegagalan menjelaskan secara logis atas apa yang terjadi.
Besar dugaan saya, akar dari perilaku tim penilai tersebut terbatasnya instrument yang digunakan untuk menilai kualitas publikasi sehingga tim penilai membutuhkan bahan-bahan lain untuk percaya diri pada penilaiannya. Hal tersebut sebetulnya tidak perlu terjadi jika, instrument untuk menilai kualitas jurnal juga mempertimbangkan reputasi jurnal. Misal, jika jurnal tersebut diketahui memiliki manajemen baik dan juga dikelola oleh akademisi bereputasi baik, maka tidak ada keraguan proses di dalamnya akan bagus. Dengan begitu, tim penilai tidak perlu lagi repot-repot meminta Turnitin, dan lain-lainnya untuk meyakinkan diri tentang reputasi jurnal. Sayangnya hal tersebut tidak bisa dilihat hanya melalui impact factor atau indeks Scopus.
Efek domino dari kedua dampak tersebut diatas adalah merobohkan tiang penyangga pendidikan tinggi kita pada sumber daya manusia (dalam hal ini dosen) dan juga pada nilai-nilai yang ditanamkan kepada generasi penerus. Dosen dapat mengalami demoralisasi akibat proses yang tidak transparan untuk kenaikan pangkat ataupun tidak dihargainya nilai penelitian yang diusulkan, atau juga karena terpilihnya "second best" menjadi leader dalam institusi pendidikan tinggi. Sebagaimana guru kencing berdiri, murid kencing berlari; apa yang bisa dibayangkan dari mahasiswa yang dosen-dosennya berprinsip asal banyak publikasi? Dengan kata lain, kebijakan penilaian dosen/akademisi berdasarkan murni pada jumlah publikasi dan juga kualitas berbasis sitasi saja tidak cukup untuk meningkatkan kualitas penelitian di Indonesia.
Sudah ada beberapa usaha di luar negeri yang dilakukan untuk merespon kontradiksi dari penilaian kualitas akademisi yang berdasarkan jumlah publikasi. Misal, untuk sistem informasi, terdapat ABDC (Australian Business Deans Councils) yang menghasilkan kategori kualitas jurnal. Di UK, terdapat CABS (Chartered Association of Business School) yang juga menghasilkan kategori kualitas jurnal. Baik ABDC maupun CABS menghasilkan kategori kualitas jurnal tidak hanya berdasarkan pada metrik sitasi, tetapi juga penilaian subyektif institusi atau akademisi yang relevan di bidang tersebut dalam menilai value dari jurnal dengan menerima masukan dari berbagai universitas.
Sebetulnya di Indonesia sendiri sudah ada asosiasi-asosiasi keilmuan yang bisa diminta pendapatnya untuk menilai value sebuah jurnal. Misalnya saja, kita punya APTIKOM (Asosiasi Pendidikan Tinggi Ilmu Komputer Indonesia), ada juga APTFI (Asosiasi Pendidikan Tinggi Farmasi Indonesia). Atau asosiasi yang langsung berhubungan dengan bidang ilmu, misal AISINDO (Asosiasi Sistem Informasi Indonesia).
Sayangnya, sepertinya sampai sekarang sepertinya masih adem ayem saja. Meski banyak kasak-kusuk, tulisan sana sini, yang mencoba menggelitik pemerintahan, nampaknya beliau masih enggan mendengarkan. Entah apakah sudah terlalu nyaman dengan apa yang ada, atau memang sudah terlalu banyak yang dikerjakan sampai akhirnya kebingungan sendiri di bagian mana yang harus dikerjakan dahulu?
