Mungkin sebagian dari kalian pernah mendengar istilah robot.txt namun belum begitu memahami fungsi dan kegunaannya. Nah sebelum memulai tutorial setting robots.txt sebaiknya kita bahas terlebih dahulu apa itu robots.txt dan bagaimana cara kerjanya.
Berikut pengertian Robots.txt yang dikutip dari Wikipedia.org:
Berikut pengertian Robots.txt yang dikutip dari Wikipedia.org:
Standar pengecualian robot , juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.
Lebih jelasnya lagi, Robots.txt merupakan sebuah file berformat teks yang berisi ketentuan pengguna web atau blog yang bertujuan untuk mengizinkan atau mencegah indeks dari mesin pencari (search engine) seperti Google, Bing dan Yahoo. Sehingga robots.txt ini sangat erat kaitannya dengan optimasi SEO (Search Engine Optimization) pada blog.
Lantas bagaimana cara kerja dari robots.txt? Nah, pada saat situs Anda memiliki nama domain tertentu dan kemudian didaftarkan pada mesin pencari maka Anda secara otomatis akan mengizinkan robot perayap atau bot crawler untuk merayapi/mengunjungi situs tersebut dan yang pertama akan mereka kunjungi ialah file robots.txt. Jadi kita sebagai pengelola blog dapat mengatur halaman apa saja yang dibolehkan untuk diindeks dan mencegah halaman yang tidak ingin ditampilkan dalam pengindeksan mesin pencari.
Berikut Cara Setting Robots.txt di Blogspot:
1. Masuk ke akun blogger Anda.
2. Pilih menu Settings > Search preferences.
3. Pada bagian Crawlers and indexing, klik Edit pada Custom robots.txt dan pilih Yes.
4. Lalu salin kode berikut dan letakkan pada kolom yang telah disediakan (Dalam pemasangan robots.txt Anda harus berhati-hati agar nantinya tidak terjadi kesalahan dalam pengindeksan mesin pencari).
Ket: Ganti dengan URL blog sobat masing-masing.
5. Terakhir klik Save changes untuk menyimpan perubahan.
Berikut penjelasan mengenai masing-masing kode di atas:
1. User-agent: Mediapartners-Google
Artinya bahwa kode yang berada di bawahnya hanya diberlakukan untuk bot crawler dengan partner dari mesin pencari Google. Kode Mediapartners-Google berfungsi sebagai robot perayap untuk Google AdSense.
2. Disallow:
Artinya tidak ada halaman yang dicegah dalam pengindeksan, dalam artian membolehkan bot crawler untuk merayapi semua halaman pada blog Anda.
3. User-agent: *
Artinya bahwa kode yang berada di bawahnya diberlakukan untuk semua robot mesin pencari.
4. Disallow: /search
Artinya tidak mengizinkan bot crawler untuk merayapi halaman /search, seperti halaman label blog.
5. Allow: /
Artinya semua halaman situs diperbolehkan untuk dirayapi, kecuali yang dilarang pada perintah disallow di atas.
6. Sitemap: http://www.puloblog.tk/feeds/posts/default?orderby=UPDATED
Artinya bahwa kode ini mengarah pada sitemap / peta situs blog, dimana akan memudahkan bot crawler untuk merayapi semua URL postingan yang diterbitkan.
Nah untuk membuat robots.txt supaya lebih seo friendly Anda bisa gunakan kode di bawah ini yang mana bertujuan agar tidak terjadi duplikat konten pada blog Anda.
Demikianlah artikel tutorial blogger dan SEO mengenai Cara Setting Robots.txt di Blog Agar SEO Friendly untuk kesempatan kali ini, semoga dapat bermanfaat bagi Anda semua.
Berikut Cara Setting Robots.txt di Blogspot:
1. Masuk ke akun blogger Anda.
2. Pilih menu Settings > Search preferences.
3. Pada bagian Crawlers and indexing, klik Edit pada Custom robots.txt dan pilih Yes.
4. Lalu salin kode berikut dan letakkan pada kolom yang telah disediakan (Dalam pemasangan robots.txt Anda harus berhati-hati agar nantinya tidak terjadi kesalahan dalam pengindeksan mesin pencari).
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.puloblog.tk/feeds/posts/default?orderby=UPDATED
Ket: Ganti dengan URL blog sobat masing-masing.
5. Terakhir klik Save changes untuk menyimpan perubahan.
Berikut penjelasan mengenai masing-masing kode di atas:
1. User-agent: Mediapartners-Google
Artinya bahwa kode yang berada di bawahnya hanya diberlakukan untuk bot crawler dengan partner dari mesin pencari Google. Kode Mediapartners-Google berfungsi sebagai robot perayap untuk Google AdSense.
2. Disallow:
Artinya tidak ada halaman yang dicegah dalam pengindeksan, dalam artian membolehkan bot crawler untuk merayapi semua halaman pada blog Anda.
3. User-agent: *
Artinya bahwa kode yang berada di bawahnya diberlakukan untuk semua robot mesin pencari.
4. Disallow: /search
Artinya tidak mengizinkan bot crawler untuk merayapi halaman /search, seperti halaman label blog.
5. Allow: /
Artinya semua halaman situs diperbolehkan untuk dirayapi, kecuali yang dilarang pada perintah disallow di atas.
6. Sitemap: http://www.puloblog.tk/feeds/posts/default?orderby=UPDATED
Artinya bahwa kode ini mengarah pada sitemap / peta situs blog, dimana akan memudahkan bot crawler untuk merayapi semua URL postingan yang diterbitkan.
Nah untuk membuat robots.txt supaya lebih seo friendly Anda bisa gunakan kode di bawah ini yang mana bertujuan agar tidak terjadi duplikat konten pada blog Anda.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://www.puloblog.tk/feeds/posts/default?orderby=UPDATED
Demikianlah artikel tutorial blogger dan SEO mengenai Cara Setting Robots.txt di Blog Agar SEO Friendly untuk kesempatan kali ini, semoga dapat bermanfaat bagi Anda semua.