Whendy Tutorial Website, Tutorial PHP, Tutorial AngularJS, Tutorial JQuery, Tutorial Laravel, Tutorial Codeigniter, Whendy Blog, blog, whendy
Tutorial Membuat file robots.txt pada website – Robot yang satu ini bukan robot ( power rangers ), tapi robots ini merupakan file yang diperlukan oleh sebuah website/ blog supaya terindeks dengan cepat oleh search engine ( Mesin Pencari ) seperti Google, Yahoo, Bing, dan lain lain. Dengan adanya robots.txt search engine seperti Google akan lebih mudah meng-index website / blog kita. Robots.txt merupakan informasi bagi search engine mengenai direktori mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses website/ blog kita.
contoh robots.txt
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content User-agent: Mediapartners-Google Allow: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / Sitemap: https://blog.whendy.net/sitemap.xml
Ganti https://blog.whendy.net/sitemap.xml dengan lokasi sitemap.xml anda.
