Cara Setting Robot.txt Blogger 2020

Setting Robot.txt 2020 Terbaru - Apa sih robot.txt ? Robot.txt adalah sebuah perintah yang dapat mengontrol halaman-halaman tentu agar tidak diindeks oleh Spider mesin pencarian google.

Ada beberapa halaman yang baik untuk tidak di indeks seperti halaman label dan halaman about dlll.

Tapi pada dasarnya Google telah menyediakan robot.txt Default hanya saja menurut beberapa sebagai kurang ampuh untuk mengatasi SEO. Oleh karena itu beberapa ahli SEO berexperimen untuk menciptakan robot.txt yang SEO.

Robot Txt Default

Ini lah contoh robot Txt default Blogger.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.bahastuntas.com/sitemap.xml

Sedikit penjelasan mengenai isi perintah dari robot.txt di atas.

User-agent: Mediapartners-Google:

Kode ini memiliki perintah untuk lebih mengoptimalkan Iklan dari Google Adsense. Untuk kalian yang memiliki Adsense atau tidak cukup biarkan seperti itu.

Disallow:

Perintah dari kode ini adalah berfungsi untuk mengatur agar halaman tertentu tidak di indeks Spider. Untuk menentukan halaman yang tidak ingin di indeks kalian hanya perlu memasukkan awalannya saja seperti contoh

https://www.bahastuntas.com/search/label/blogger

Awalan yang /search maka secara langsung tidak akan di indeks (tidak muncul di search engine google).

Ada beberapa sebagaian sepakat bahwa dengan cara Disallow:/search mampu meningkatkan kualitas SEO, karena beranggapan halaman label tidak bagus untuk di indeks.

Allow:

Allow adalah mengijinkan agar spider untuk mengindeks/merayapi yang ada di Blog kalian, cukup gunakan kode / agar semua yang ada di blog kalian terindeks.

Sitemap:

Ketikan kalian tulis https://www.nama_blog_kamu.com/sitemap.xml
Maka yang muncul adalah semua postingan artikel yang terdapat pada blog tersebut.

Cara Setting Robot.txt Default Blogger

Sekarang kita masuk ke pembahasan inti yaitu cara setting robot.txt , ikut step by step di bawah ini.

Login Blogger
Masuk ke Pengaturan > Prefensi Penelusuran > Perayapan dan Pengindeksan > Robot Txt Khusus > klik Edit > terus YA > Masukan robot Txt berikut.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.bahastuntas.com/sitemap.xml

Tulisan berwarna kuning ganti dengan alamat blog kalian

Klik Simpan Perubahan

Sedikit menjabarkan robot.txt di atas.

User-agent : Menandakan blog anda bekerja sama dengan penyedia iklan Google Adsense.

Disallow : Memblokir atau tidak mengijinkan halaman tertentu agar tidak di indeks spider.

Allow : Mengijinkan atau memperbolehkan spider untuk merayapi seluruh isi didalam blog.

Sitemap: Daftar isi semua postingan yang terdapat di blog kalian.

Costume Robot.txt Blogger Yang Aman dan SEO

Untuk cara pemasangannya sama dengan yang di atas

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://blog-anda.blogspot.com/sitemap.xml

Cara Memeriksa File Robot.txt

https://www.domain_anda.com/ robots.txt

Periksa jika sesuai dengan robo.txt yang di atas berarti file robot.txt yang baru sudah terpasang.

Cara Pasang Tag Tanjuk Robot Khusus

Untuk lebih maksimal kalian perlu setting juga tag tanjuk robot khusus.

Login Blogger
Buka Pengaturan > Prefensi Penelusuran> Perayapan dan Pengindeksan > Tag Tanjuk Robot Khusus > Klik Edit > sesuai kan dengan gambar di bawah ini > kemudian Simpan Perubahan