Beberapa waktu yang lalu, dunia akademisi digegerkan oleh publikasi yang dilakukan oleh Fry dan kawan-kawan (2023) dengan karyanya yang berjudul "Ranking researchers: Evidence from Indonesia". Pada publikasi di jurnal bernama Research Policy tersebut, disebutkan bahwa perangkingan yang dilakukan Indonesia telah berhasil mengubah perilaku peneliti Indonesia yang ditunjukkan dengan meningkatnya citation index. Manuskrip tersebut mendapatkan sanggahan dari rekan-rekan dosen dan peneliti Indonesia yang juga diterbitkan jurnal yang sama berjudul "Comments on 'Ranking researchers: Evidence from Indonesia'", yaitu Bapak Dasapta Irawan dan kawan-kawan yang diprovokasi oleh Profesor Yahdi Zaim dan juga mendapatkan feedback dari Dr. Tri Wahyu Hadi dari ITB. Sanggahan tersebut salah satunya penekanan pada kualitas penelitian daripada terbatas pada penilaian kuantitatif.
Saat membaca  naskah tersebut, saya segera melakukan penelusuran mengenai latar keilmuan Profesor Yahdi Zaim. Rupanya beliau memiliki latar belakang keilmuan berkaitan dengan ilmu kebumian, mungkin bahasa umumnya geologi (mohon maaf jika salah). Hati kecil saya berteriak kegirangan. Apa yang rupanya dirasakan oleh keilmuan lain ternyata sama dengan apa yang saya dan rekan-rekan saya rasakan.
Tepat beberapa saat sebelum saya membaca naskah Fry (2023), saya, pak Dedy Inan dari Papua, dan pak Romy Wahono di Jakarta sudah rasan-rasan tentang keluhan dari tekanan kebijakan kualitas penelitian, baik untuk syarat hibah ataupun kenaikan pangkat. Ibarat seperti mestakung, kata professor Johanes Surya, kami, dari tempat berbeda, dengan latar keilmuan berbeda, ditakdirkan untuk bertemu di dunia tulisan dengan pemikiran sama. Saya merasa, ini saatnya saya juga mengajak peneliti lain di bidang lain untuk mari bersama-sama menyampaikan suara tentang ini dengan lantang.
Baik, sebelum saya mulai meracau membahas rasan-rasan kami (yang mungkin juga akan di-amin-kan oleh teman-teman satu perjuangan), saya ingin menjelaskan sedikit dahulu sejarah terjadinya kebijakan ranking peneliti. Artikel dari Kompas bulan April tahun 2016 berjudul "Mengapa kita "kalah" dari Malaysia" tentang jumlah publikasi terindeks Scopus di Indonesia yang kurang dari seperlima publikasi di Malaysia. Menindaklanjuti hal tersebut, pemerintah Indonesia berusaha mendongkrak penelitian dengan memberikan insentif, membebankan kuota publikasi kepada dosen-dosen yang senior, dan memasukkan publikasi sebagai syarat untuk kelulusan pada beberapa level perguruan tinggi misalkan S3.
Dalam upaya tersebut, pemerintahan Indonesia melakukan kebijakan penilaian kualitas dosen berdasarkan jumlah publikasi dengan menggunakan Scopus sebagai standar kualitas (misal syarat menjadi professor atau ke lektor kepala untuk dosen). Indeksasi Scopus dikelola oleh Elsevier yang berpusat di Belanda semenjak 2004 (Lembaga non profit). Scopus 4 memiliki peringkat pada jurnal-jurnal yang terdaftar diindeksasi yaitu: Q1, Q2, Q3, dan Q4, dengan Q1 adalah peringkat tertinggi dan Q4 peringkat terendah. Misalkan, angka kredit dosen diberikan lebih tinggi jika publikasi di jurnal yang terindeks Scopus Q1, yaitu maksimal 40. Sedangkan jika terindeks di Scopus Q4, akan mendapatkan nilai kurang dari 40, tersebut bergantung kepada tim penilai angka kredit. Contoh lainnya adalah hibah-hibah penelitian yang mensyaratkan pengusul memiliki H-indeks Scopus minimal 4. H-indeks Scopus adalah indeks sitasi sang penulis pada naskah terdaftar pada Scopus yang merujuk kepada seluruh publikasi penulis yang juga terdaftar pada Scopus. Dengan kata lain, hanya menghitung naskah yang terdaftar pada Scopus.
Sebelum saya masuk membahas mengenai ketidakadilan pada kebijakan yang hanya jumlah publikasi dan mengandalkan Scopus untuk mengukur kualitas, saya ingin menunjukkan bagaimana nilai Q1 sampai dengan Q4 dihitung. Secara kasar, scopus akan mengelompokkan jurnal berdasarkan bidang keilmuan, lalu menghitung jumlah sitasi setiap jurnal selama 4 tahun dibagi dengan jumlah penerbitan, disebut sebagai SJR (Scimago Journal Ranking). Jika sitasi tinggi, maka SJR akan tinggi. Kemudian untuk seluruh jurnal diurutkan SJR-nya dari tertinggi sampai terendah. Seperempat tertinggi akan masuk ke Q1, seperempat kedua masuk ke Q2, dan seterusnya sampai seperempat terakhir ada di Q4.
Apa masalahnya dengan cara seperti itu? Sebuah jurnal bidang ilmu yang sangat spesifik dengan jumlah jurnal sedikit bisa memiliki SJR rendah tetapi berada pada Q1. Sedangkan ada jurnal bidang ilmu yang luas dan sudah lama dengan jumlah jurnal sangat banyak, bisa memiliki SJR tinggi tetapi berada pada Q3.
Selain itu, karena sangat bergantung kepada sitasi, SJR pada jurnal-jurnal yang bersifat open access, akan memiliki SJR tinggi. Open access artinya semua orang dapat mengakses jurnal tanpa perlu berlangganan. Biaya berlangganan ini sangat besar. Saya mendengar biaya berlangganan Elsevier, katanya bisa mencapai 1 milyar per-tahun untuk level universitas. Untuk jurnal open access, dimana pembaca dapat membaca publikasi tanpa  berlangganan, si penulislah yang membayar biaya penerbitan. Harganya beragam mulai dari 10 juta sampai dengan 40 juta per-naskah, yang pasti kalau terindeks Scopus, tidak ada yang gratis.
Pada banyak open access journal meskipun saya tidak menuduh kepada seluruh open access, sebagai timbal balik dari bayaran yang tidak sedikit dari penulis, terkadang reviewer diminta untuk melakukan review dalam waktu sangat singkat yaitu 1 minggu. Â Karena hal tersebutlah maka banyak dosen-dosen yang lebih mementingkan kualitas menjadi "sangsi" dengan kualitas publikasi di open access journal meskipun jika dihitung SJR nya masuk ke dalam Q1. Dengan durasi yang review yang sangat singkat, beberapa dosen melihat jurnal-jurnal tersebut mendekati predator meskipun belum se-gelap jurnal predator dimana jurnal predator akan menerbitkan seluruh naskah yang diterima asalkan membayar biaya publikasi. Â
Penelitian dari Butler tahun 2003 pada publikasi berjudul "Explaining Australia's increased share of ISI publications---the effects of a funding formula based on publication counts", menunjukkan bahwa di Australia, meskipun citation index meningkat tajam hingga 25%, peringkat Australia dalam OECD malah turun yang menunjukkan perhitungan kualitas akademisi berdasarkan jumlah yang dihitung kuantitatif saja tidak membuat maju negara. Kekhawatiran sama, kejadian yang sama saat ini sedang terjadi juga di Indonesia.
Di Indonesia ini, salah satu dampak penilaian kualitas akademisi berdasarkan kuantitas publikasi yang dinilai dengan Scopus, adalah prioritas publikasi yang asal-asalan. Asal untuk memenuhi syarat hibah cair, atau jumlah angka kredit yang dapat digunakan untuk naik pangkat. Misal, beberapa dosen memilih untuk menerbitkan di jurnal yang kualitasnya tidak bereputasi baik, tetapi terindeks Q2 dalam jumlah banyak (misal satu tahun 3-4 jurnal, bahkan ada yang lebih), daripada mengejar kualitas yang membuat hanya dapat satu naskah dalam 1 tahun. Toh saat dijumlahkan, jumlah banyak akan menghasilkan nilai lebih lebih banyak terlepas dari value penelitiannya. Atau, seorang dosen akan memilih menerbitkan naskah di jurnal-jurnal Q1 yang berbentuk open access jika memiliki dana cukup dimana tidak semua jurnal tersebut tidak memiliki reputasi baik. Siapa yang tidak mau dengan usaha lebih sedikit, memperoleh nilai lebih banyak?
