Cara Setting Robots.txt Khusus dan Tag Header Robot Khusus

Cara Setting Robots.txt Khusus dan Tag Header Robot Khusus

Cara Setting Robots.txt Khusus dan Tag Header Robot khusus - Robots.txt merupakan bagian dari optimasi on page yang sangat penting, dengan settingan yang tepat dapat mempermudah mesin pencari merayapi blog kita. Setelah sebelumnya saya share sebuah artikel tentang Membuat Widget Daftar Isi Tabulasi untuk Blogger , karna witget ini pun sangat mendukung blog kita menjadi seo friendly.

Cara Setting Robots.txt Khusus

• Login ke akun Blogger sobat

• Masuk ke Setelan  Preferensi Penelusuran

• Kemudian pada perayap dan pengindeksan silahkan di aktifkan robots.txt khusus - Edit - Pilih Ya

• Setting robots.txt blog sobat seperti di bawah ini :

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /archive

Disallow: /?m=1

Disallow: /?m=0

Allow: /

Sitemap: http://ramdhanisumantri.blogspot.com/feeds/posts/default?orderby=UPDATED

• Ganti yang berwarna merah dengan blog anda !

Penejelasan dari kode-kode di atas :

User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog

Disallow:
Yang tidak diperbolehkan tidak ada

User-agent: *
Semua robot Search Engine / mesin pencari

Disallow: /search
Tidak diperbolehkan merayapi folder search dan seterusnya, seperti ..../search/label dan ... search/search?updated... dan lain-lain

Disallow: /archive
Tidak diperbolehkan merayapi folder archive dan seterusnya...

Disallow: /?m=1
Tidak diperbolehkan merayapi tampilan homepage pada mobile...

Disallow: /?m=0
Tidak diperbolehkan merayapi tampilan homepage pada smartphone

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://ramdhanisumantri.blogspot.com/feeds/posts/default?orderby=UPDATED Sitemap atau alamat feed blog kita.

Tag Header Robot Khusus 

• Kemudian aktifkan juga Tag tajuk robot khusus -  Edit - Pilih Ya

• Setting seperti gambar di bawah ini :

 Penjelasan Tentang Fungsi pada gambar di atas

All
Tidak ada batasan untuk mengindeks atau melayani. catatan: direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar

noindex
Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "cached" link dalam hasil pencarian

nofollow
Jangan ikuti link di halaman ini

none
Sama dengan tag noindex, nofollow.

noarchive
Tidak menunjukkan "cached" link dalam hasil pencarian

nosnippet
Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.

noodp
Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini

notranslate
Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian

noimageindex
Jangan indeks gambar di halaman ini

unavailable_after: [RFC-850 date/time]
Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format.

Selesai juga, setingan di atas merupakan setingan yang saya terapkan di blog saya, tetapi semua blogger mempunyai versi masing - masing dalam penerapanya. Semoga artikel ini bisa bermanfaat bagi para blogger yang membutuhkanya. Sekian artikel tentang Cara Setting Robots.txt Khusus dan Tag Header Robot Khusus !!!