Apa saja yang akan kita bahas kali ini??
1. Mencegah Google dan search engine lain melakukan pengindexan terhadap situs anda.
2. Mencegah scanning terhadap halaman tertentu.
3. Menghapus Snippet (Potongan-potongan).
4. Menghapus halaman-halaman yang sudah di-Cache.
5. Menghapus gambar dari pencarian gambar Google.
//------- Pembahasan--------//
1. Mencegah Google dan search engine lain melakukan pengindexan terhadap situs anda.
Untuk mencegah Google dan search engine lain melakukan pengindexan terhadap situs anda, copy-pastekan script berikut pada text editor kamu dan simpan dengan nama robots.txt
User-Agent: *
Disallow: /
Inilah protokol standar yang diperiksa oleh hampir semua mesin pengindeks web untuk mengecualikan suatu server atau direktori web dari pengindeksan. info lebih lanjut bisa kamu dapatkan di: http://www.robotstxt.org/wc/norobots.html
2. Mencegah scanning terhadap halaman tertentu.
Kalau anda tidak menginginkan semua robot melakukan indexing terhadap website anda, maka anda dapat menyimpan meta tag dibawah ini kedalam program HTML anda:
Kalau anda tidak menginginkan robots Google's meng-index website anda, sehingga anda mau memakai robots lain, pakailah tag dibawah ini:
Informasi tambahan mengenai standard meta tag element tersedia disini:
http://www.robotstxt.org/wc/exclusion.html#meta
3. Menghapus Snippet (Potongan-potongan)
Snippet adalah text yang diambil dari halaman website anda dimana semua query di bold. Dari hasil proses ini, pemakai bisa melihat isi dari pencarian (search) yang nongol di webpage anda, sebelum meng-click hasil. Biasanya pemakai akan meng-click didalam hasil pencarian (search result) kalau hasil itu mempunyai snippet.
Kalau anda tidak mau Google mengeluarkan snippet dihalaman anda, pakailah tag dibawah ini:
Ingat: menghapus snippet juga akan menghapus cache memori halaman.
4. Menghapus halaman-halaman yang sudah di-Cache
Google menyimpan teks dari kebanyakan dokumen-dokumen yang dirangkaknya ke dalam cache. Dengan begini, versi halaman web yand diarsip, atau di-"cache", dapat diperlihatkan kepada pengunjung-pengunjung situs anda apabila halaman yang sebelumnya tidak tersedia lagi (disebabkan oleh kegagalan sementara dari halaman di jaringan server). Halaman yang di-cache terlihat kepada pengunjung-pengunjung persis seperti waktu Google merangkaknya. Halaman yang di-cache ini juga mencantum pesan (di bagian atas halaman) untuk menunjukkan bahwa halaman ini adalah versi yang di-cache.
Bila anda ingin menghindarkan semua robot dari mengarsip isi situs anda, gunakan meta tag NOARCHIVE. Tempatkan tag ini di bagian > dari halaman-halaman anda sebagai berikut:
Bila anda ingin memperbolehkan robot-robot pendaftar lain untuk mengarsip isi halaman anda, menghindarkan robot-robot Google saja untuk menyimpan halaman itu, gunakan tag berikut:
Perhatian !! : tag ini hanya menhapus kaitan yand di-"cache" di dalam halaman berikut. Google akan terus mengindeks halaman ini dan menampilkan sebagian kecil.
5. Menghapus gambar dari pencarian gambar Google
Tempatkan file robots.txt di direktory root. Misalkan file imagemu beralamatkan http://situsku.com/images/gambarku.jpg maka kamu harus menempatkan file robots.txt di lokasi http://situsku.com/robots.txt tempatkan text berikut pada file robots.txt :
User-Agent: Googlebot-Image
Disallow: /images/dogs.jpg
Untuk menghapus semua gambar di dalam situs anda dari indeks google, tempatkan text berikut:
User-Agent: Googlebot-Image
Disallow: /
Setelah anda menambahkan file robots.txt, segera kirimkan email pemberitahuan ke googlebot@google.com serta menyatakan perubahan dan lokasi dari file tersebut. Admin Google akan segera menghapus file gambar tersebut dalam 48 jam.
//------- Penutup --------//
Gimana teman-teman... mudah bukan? Mau lebih mudah lagi?? Spyro udah memodifikasi sebuah Robots.txt GENERATOR yang bisa kamu gunakan di Member Area. Tinggal tentukan search engine mana saja yang ingin kamu refuse, tentukan directory apa saja yang ingin kamu amankan.. lalu klik sebuah tombol dan sebuah file Robots.txt siap untuk kamu gunakan.
