Masalah SEO: Artikel Tidak Terindeks di Google, Penyebab dan Solusinya

Apa solusi untuk artikel dari website baru tidak terindeks di Google? Ini adalah pertanyaan paling umum yang sering terdengar bagi pengelola website atau blog.

Memang, rasanya sangat menyebalkan ketika artikel tidak muncul di hasil pencarian Google. 

Berapa lama artikel terindeks Google? Sangat variatif. Bisa dalam hitungan jam, hari bahkan hitungan bulan.

Terutama untuk website baru. Lama atau tidaknya artikel terindeks tidak menentu.

Badan menjadi tidak enak, nafsu makan berkurang. Apalah artinya membuat artikel panjang dan lebar tapi ternyata tidak muncul di Google.

Saya pernah mengalami hal demikian. Artikel sangat lama muncul di hasil pencarian Google.

Bandingkan ketika saya menulis artikel di Kompasiana. Kurang dari sejam sejak ditayangkan, artikel sudah muncul di Google, di halaman pertama pula!

Apa yang membedakannya? Banyak faktor, mulai dari on-page, technical, sampai off-page itu sendiri. 

Seringnya, orang cukup sering memberi indikator utama kecepatan pengindeksan dan potensi ranking karena skor bagus Domain Rating (DR) atau Domain Authority (DA) dari suatu website. 

Semakin tinggi skor DR atau DA, kecenderungannya artikel semakin mudah terindeks di Google.

Eh, tetapi tidak selamanya. 

Website besar dan bereputasi yang sudah lama eksis sekalipun dapat mengalami masalah terindeks lama oleh Google. 

Sebagai contoh, website berita Reuters dan Eventbrite. 

Jason Barnard, spesialis SEO dari SEMRush memaparkan studi yang menyebutkan bahwa pada 2019, sebanyak 50% artikel Eventbrite tidak terindeks selama dua pekan. 

Kemudian, 15% artikel yang dimuat di Reuters tidak terindeks setelah dua hari. Selengkapnya bisa lihat video di bawah ini.

Bayangkan, situs berita yang sebenarnya sangat diprioritaskan oleh Google untuk terindeks dan muncul di halaman pertama hasil pencarian, ternyata bisa juga mendapat masalah.

Itu memang kejadian lama, tapi setidaknya kita mendapat gambaran bahwa masalah kelambatan indeks artikel bukan saja menyandera pengelola website baru, tetapi juga website besar.

Oke, supaya topik tidak melebar kemana-mana, baiklah kita langsung menuju poin pembahasan. 

Apa yang harus dilakukan ketika artikel dari website baru tidak terindeks oleh Google?

Identifikasi masalah

Pertama, kita harus membedakan dua masalah ini. Apakah artikel atau halaman Anda tidak terindeks, sulit terindeks, atau deindex. 

Identifikasi dapat dimulai dari sini untuk mengetahui penyebabnya.

Cek file robots.txt

Sebagai pengelola website baru, Anda merasa Google sangat lama mengindeks halaman Anda. 

Tetapi, tanpa disadari, ternyata Anda sendiri penyebabnya. Anda memblokir akses kepada Googlebot ke artikel atau halaman Anda.

Solusinya adalah, pastikan pengaturan robot.txt berada dalam tag index, bukan noindex. Untuk mengetahuinya, ketikkan: urlsitus/robots.txt. Contoh: https://www.kompasiana.com/robots.txt.

Pastikan juga bahwa Anda sudah menggunakan peta situs (sitemap) ke situs Anda. 

Cek pengaturan membaca/reading di Wordpress

Bagi pengguna Wordpress, plugin Yoast gratis sudah menyediakan pengaturan robots.txt (SEO> Tools> File Editor) dan membuat sitemap. 

Tapi, Anda (pengguna Wordpress) juga perlu mengecek pengaturan website untuk memastikan sudah memberikan akses kepada mesin pencari untuk mengindeks halaman. 

Cara mengeceknya:

• Buka CMS

• Klik Pengaturan, kemudian pilih membaca

• Setelah itu hilangkan ceklist pada bagian "Halangi mesin pencari untuk mengindeks situs ini".

Wordpress: pengaturan ketampakan di mesin pencari. Pastikan ceklist hilang untuk membuat bot Google bisa mengakses situs.

Cek URL di Google

Jika file robots.txt dan sitemap sudah oke, lalu kenapa artikel atau halaman masih tidak terindeks?

Ada banyak penyebab halaman tidak terindeks. 

Untuk lebih memastikan, coba ketikan site:linkurl. Atau menggunakan inurl:linkurl. Anda akan mengetahui apakah artikel Anda terindeks atau tidak di Google. 

Google sendiri dalam pusat bantuan mengatakan, pemilik situs sebaiknya melakukan penelusuran web terlebih dahulu sebelum memberi kesimpulan soal pengindeksan. 

Jika halaman pencarian menampilkan artikel Anda setelah mencoba cara tersebut, berarti artikel Anda sudah terindeks, namun tidak mendapat peringkat. 

Mungkin, artikel Anda ada di halaman 2, 3 atau 50 Google. Nah, urusan menaikan ranking ini, berbeda pula isu dan penanganannya. Kita fokus untuk masalah indeks saja.

Jika link tidak menampilkan halaman artikel, cobalah memeriksa pada laporan cakupan di Google Search Console. Ini lebih akurat dan valid dibanding penyusuran hasil pencarian.

Penelusuran dengan metode site:linkurl. (dokpri)

Anggaran perayapan

Masalah tidak terindeks sudah selesai. Anggaplah isu tersebut sudah beres. Sekarang, kita membahasnya ke tahap lebih lanjut, membahas masalah teknikal. Ini berhubungan dengan lambat atau sulitnya artikel terindeks oleh Google.

Pastikan Anda sudah memiliki akun Google Search Console. Sebagai catatan, Google Search Console adalah harga mati bagi profesional yang berkecimpung di SEO Google. 

Lewat Google Search Console, kita dapat mengetahui teknis masalah apa yang terjadi pada website kita menurut Google.

Anda harus menambahkan file sitemap.xml ke peta situs. Anggaplah itu sudah dilakukan.

Ini bagian yang tidak boleh terlewatkan. Untuk mengatasi masalah indeks, kita harus tahu cara kerja Google. 

Ada tiga langkah bagaimana Google menampilkan halaman kita di hasil pencarian.

1. Perayapan (crawling)

2. Pengindeksan (indexing)

3. Ranking (peringkat)

Jadi, sebelum membahas mengapa artikel atau halaman sulit atau tidak terindeks, pastikan bahwa proses crawling berjalan mulus. Ini akan kita bahas satu per satu.

Kita harus menentukan anggaran perayapan (crawl budget). Singkatnya, ini cara kita untuk mengatur bagaimana bot sering mampir ke halaman kita.

Mengutip Search Engine Journal, anggaran perayapan adalah jumlah halaman yang ditetapkan bot untuk dirayapi pada periode waktu tertentu. 

Maksudnya begini, bayangkan bot itu seperti penjual sayur keliling di komplek perumahan. Dia mengetuk satu per satu rumah untuk menawarkan sayurannya. 

Ternyata, ada satu rumah yang jarang membuka pintu. Akhirnya, pedagang itu akan jarang mampir ke rumah tersebut dan lebih sering mampir ke rumah yang ramah alias sering membeli sayurannya.

Nah, itu adalah ilustrasi sederhananya. Bot juga punya alokasi tersendiri, seberapa sering dia mampir ke situs Anda.

Bot memberikan sejumlah anggaran tertentu ke situs Anda. Setelah anggaran Anda habis, bot akan berhenti mengakses konten situs Anda dan beralih ke situs lain.

Supaya alokasi anggaran Anda besar, setidaknya 4 faktor berikut ini dapat mempengaruhinya:

• Ukuran situs: Situs besar akan membutuhkan lebih banyak anggaran perayapan.

• Server: Bagaimana kinerja dan waktu muat situs

• Frekuensi pembaruan: Seberapa sering Anda memperbarui konten? Google memprioritaskan konten yang diperbarui secara berkala.

• Link: Struktur link internal dan tautan mati.

"Semakin sering bot berkunjung, semakin cepat artikel masuk ke indeks di mana halaman telah diperbarui," kata Aleh Barysevich, Chief Marketing Officer di Link-Assistant.com.

Mengecek statistik perayapan

Jika beberapa artikel sudah terindeks, tetapi semakin lama, semakin sedikit yang terindeks, Anda dapat mengecek statistik perayapan. 

Di situ, akan ada pemberitahuan tentang status host dan rincian permintaan crawl.

Bagian ini akan memberi tahu bahwa sebenarnya masalah ada pada website kita. Agar bot dapat merayapi website, status HTTP harus 200. 

Statistik perayapan di Google Search Console. (dokpri)

Situs dapat mengalami masalah serius untuk pengindeksan bila terdapat kesalahan 4xx atau 5xx. Sebagai contoh, Anda mungkin pernah mengklik satu artikel dari Google, dan ternyata yang muncul adalah "Oops 404". 

Ini artinya halaman tersebut tidak tersedia atau tidak dikenali, mungkin telah dihapus atau ada kesalahan ketik. Jika menemukan artikel 404 di Google, kemungkinan besar, artikel tersebut telah dihapus. 

Nah, pada kasus ini, sebenarnya Google tidak akan memberi ranking untuk artikel 404. 

Tetapi, karena terlanjur sudah terindeks dan muncul di hasil pencarian, maka artikel tersebut lama-kelamaan akan turun atau mengalami deindex dari Google.

Pembahasan status kode ini sangat panjang. Jika masalah sudah mencapai tahap ini, sebaiknya, Anda meminta bantuan kepada pengembang atau programmer profesional. 

Jika tidak ditangani secara baik, maka konsekuensinya bukan saja berdampak terhadap masalah pengindeksan, tetapi berpotensi membuat situs Anda menjadi wassalam hahaha 

Deindex

Ini adalah isu terakhir mengapa artikel atau halaman sulit terindeks. Bisa jadi, halaman Anda mengalami deindex dari Google. 

Mengutip Qwords, deindex Google adalah keadaan situs tidak masuk ke dalam daftar index Google yang mengakibatkan halaman tidak dapat tampil atau ditemukan di hasil pencarian.

Masalah ini biasanya dapat diketahui bila lalu lintas ke situs sudah sangat tinggi. Dari sini akan ketahuan, mengapa traffic terus menurun dari periode sebelumnya.

Penyebab deindex pada umumnya menyangkut pada kualitas konten dan bagaimana kita menjalankan pedoman dan aturan dari Google.

Mengidentifikasi persoalan deindex ini cukup rumit karena sama halnya menyelidiki semua dari awal. Ini bisa jadi karena masalah duplikat konten, kualitas konten yang buruk atau pembaruan algoritma Google.

Kecepatan situs

Kecepatan situs dan performa data web inti sangat mempengaruhi bagaimana halaman dapat terindeks cepat. Anda dapat mengeceknya performa website pada page speed atau melalui GTMetrix.

Pengalaman saya untuk web Wordpress yang saya kelola sendiri, saya menggunakan plugin caching premium untuk mengoptimasi kecepatan situs. 

Plugin premium memiliki bayaran, tetapi setimpal dengan hasilnya. Atau Anda dapat meminta bantuan dari profesional dengan mencarinya di situs freelancer untuk meningkatan kecepatan situs Anda.

Solusi artikel tidak terindeks

Sebenarnya, ada banyak lagi faktor yang berpotensi membuat artikel atau halaman tidak terindeks atau sulit terindeks. 

Namun demikian, hal-hal di atas merupakan faktor umum sejauh pengalaman saya pernah berurusan.

Jadi, solusi untuk artikel atau halaman tidak atau sulit terindeks:

• Pastikan pengaturan file robots.txt dan sitemap sudah dilakukan dengan baik

• Cek Google Search Console, periksa isu pada bagian cakupan dan laporan di statistik perayapan

• Masih di Google Search Console, lakukan inspeksi URL dan minta pengindeksan 

• Perbarui selalu artikel

• Periksa skor kecepatan website

• Pastikan kualitas konten sesuai dengan pedoman Google

• Hindari penggunaan teknik black hat SEO 

• Optimasi SEO on-page

Cara lain agar Google cepat mengindeks, Anda bisa membuat halaman versi AMP dan mendaftar ke Google News melalui Google Publisher Center. 

Pada intinya, semakin hari, Google semakin ketat untuk memilih konten mana yang layak tampil di halaman pencarian. Penting juga untuk memperbarui algoritma Google.

Terlebih di tingkat bisnis. Google berusaha mengedepankan kebutuhan dan keinginan penggunanya. 

Mau tidak mau, Google selalu mengikuti perkembangan zaman agar tidak ditinggalkan penggunanya yang kelihatannya semakin nyaman menggunakan media sosial seperti Tik Tok untuk mendapatkan informasi.

Jika masalah belum terselesaikan dan artikel tetap belum terindeks, maka Anda perlu melakukan audit website. 

Sebaiknya, audit dilakukan jika masalah pengindeksan belum kunjung tuntas dalam waktu sebulan sementara Anda telah menempuh cara-cara optimasi di atas.