Wednesday , 25 November 2020
Stackode
Home > Others > Tutorial Membuat file robots.txt pada website

Tutorial Membuat file robots.txt pada website

Tutorial Membuat file robots.txt pada website  Robot yang satu ini bukan robot ( power rangers ), tapi robots ini merupakan file yang diperlukan oleh sebuah website/ blog supaya terindeks dengan cepat oleh search engine ( Mesin Pencari ) seperti Google, Yahoo, Bing, dan lain lain. Dengan adanya robots.txt search engine seperti Google akan lebih mudah meng-index website / blog kita. Robots.txt merupakan informasi bagi search engine mengenai direktori mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses website/ blog kita.
robots-txt-whendy-blog
robots-txt-whendy-blog
contoh robots.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://blog.whendy.net/sitemap.xml
Ganti https://blog.whendy.net/sitemap.xml dengan lokasi sitemap.xml anda.

About Whendy

Whendy Blog mengumpulkan beberapa Tutorial Website, PHP, AngularJS, JQuery, Laravel, Codeigniter dan lain-lain. ( jika sempat ) :)

Leave a Reply

Your email address will not be published. Required fields are marked *