Kondisi tersebut disadari oleh webometrics sehingga sampai saat ini sudah sering melakukan perubahan metode pemeringakatannya. Pada awalnya, webometrics menggunakan 4 kriteria, yaitu (1) SIZE yaitu banyaknya halaman web di situs kampus, (2) VISIBILITY yaitu banyaknya jumlah tautan eksternal ke website kampus, (3) RICH FILES yaitu jumlah dokumen dengan format MS Word, Adobe, dan power point, serta (4) Scholar, yaitu jumlah dokumen yang terindeks oleh Google Scholar.
Sumber data dari beberapa parameter di atas juga terus berubah. Kriteria SIZE pada awalnya menggunakan empat mesin pencari yaitu Google, Yahoo, Bing, dan Exalead. Namun kemudian hanya menggunakan Google saja. Pengukuran VISIBILITYÂ pada awalnya menggunakan Yahoo Site Explorer yang dapat menghitung jumlah tautan ke sebuah website. Namun ketika Yahoo Site Explorer tidak menggratiskan lagi layanannya, Webometrics pun beralih ke MAJESTIC SEO untuk menganalisis tautan ke sebuah situs perguruan tinggi.
Penyesuaian pengukuran criteria RICH FILES pun sudah dilakukan. Webometrics mensinyalir beberapa perguruan tinggi mengunggah konten yang bukan miliknya, atau bukan diprosuksi oleh civitas akademika. Webometrics menduga website kampus berisi dokumen yang melanggar hak cipta, atau setidaknya hanya berisi dokumen yang tidak menjadi hak milik kampus tersebut.
Kasus pada paremeter RICH FILE pun terjadi untuk parameter SCHOLAR. Meningkatkan jumlah dokumen yang terindeks Google Scholar relative mudah, apalagi semakin banyak template paper repository atau open journal system yang ramah terhadap Google Scholar. Tantangannya adalah bagaimana meningkatkan jumlah dokumennya. Di sinilah Webometrics, lagi-lagi menduga ada cara yang dianggap tidak benar.
Pada edisi tahun 2010, beberapa situs kampus di Indonesia pun ditandai (dengan tanda **) karena peningkatan jumlah dokumen yang luar biasa. Memang bukan hanya kampus di Indonesia saja. Beberapa kampus di negara asia dan amerika latin pun mendapat label seperti itu. Banyak free journal atau artikel milik pihak lain diunggah juga ke situs perguruan tinggi.
Akhirnya pada edisi terbaru, Webometrics merubah lagi metode pemeringkatannya, bahkan mengganti nama parameternya. Mulai edisi Juli 2012 empat parameter pemeringkatannya, yaitu (1)Â PRESENCE (Bobot: 20%), yaitu volume konten global yang terindeks Google; (2) IMPACT (50%), yaitu kualitas konten yang diukur dengan tautan eksternal dari pihak ketiga dengan data visibilitynya menggunakan dua mesin pencari yaitu Majestic SEO dan Ahrefs; (3) OPENNESS (15%), yaitu jumlah rich file (pdf, doc, docs, dan ppt) yang terindeks di google scholar; dan (4) EXCELLENCE (15%), yaitu karya akademik yang dipublikasikan di jurnal international yang tergolong high-impact dengan sumber datanya diambil dari Scimago.
Tiga parameter baru secara umum tidak jauh berbeda dibandingkan metodo pemeringkatan sebelumnya. PRESENCE identik dengan SIZE pada metoda lama, IMPACT mirip dengan VISIBILITY namun dengan memperhitungkan kualitasnya, sedangkan OPENNES identik dengan SCHOLAR. Parameter yang relatif baru adalah EXCELLENCE, yang pada metode lama masih disatukan dengan parameter SCHOLAR. Kini jumlah artikel ilmiah pada jurnal international bergengsi menjadi parameter tersendiri.
Kini Webometris mulai memasukkan publikasi ilmiah dalam criteria penilaiannya. Dan hasilnya menunjukkan kampus di Indonesia pada rontok peringkatnya, khusus untuk kriteria EXCELLENCE ini. Peringkat tertinggi untuk jumlah karya ilmiah yang masuk database SCIMAGO adalah Universitas Indonesia yang menempati peringkat dunia ke-1730, disusul oleh ITB dan UGM yang peringkat dunianya hanya menempati posisi 1871 dan 1999. Kondisi tersebut menunjukkan bahwa perguruan tinggi di Indonesia masih tergolong rendah dalam publikasi di Jurnal International, terutama pada jurnal international yang high-impact atau banyak dirujuk pada karya ilmiah lain.
Jeblok di Prestasi Akademik
Ketika parameternya mulai memasukkan kinerja akademik, peringkat kampus Indonesia di tingkat internasional pun mulai rontok, atau jumlah kampus yang masuk pemeringkatannya tidak sebanyak pemeringkatan di dunia maya. Setidaknya ada dua pemeringkatan lainnya yang relative lebih komprehensif, yaotu Academic Ranking of World Universities (ARWU) dan QS World Universities Ranking. Ada juga sistem penilaian lain, yang bukan berupa peringkat, tapi rating seperti dilakukan pada QS Star Rating System.
ARWU. ARWU merupakan pemeringkatan yang relatif sulit dicapai oleh perguruan tinggi di Indonesia. Sampai saat ini belum ada perguruan tinggi yang masuk peringkat ARWU, yang dipublikasikan oleh Shanghai Jiao Tong University. Indikatornya memang berat, misalnya jumlah pemenang nobel atau jumlah artikel yang dimuat di jurnal ilmiah bermutu yang banyak dikutip atau menjadi referensi di mana-mana. Informasi tentang ARWU bisa dilihat di SINI. Tidak ada kampus dari Indonesia yang masuk pemeringkatan ini.
