Berikut adalah tag yang bisa digunakan di robots.txt:
1. User-agent:
Tag ini digunakan untuk menentukan bot mana yang boleh atau tidak boleh mengakses website Anda. Formatnya adalah:
User-agent: bot_name
Contoh:
User-agent: Googlebot
2. Disallow:
Tag ini digunakan untuk melarang bot mengakses halaman atau direktori tertentu di website Anda. Formatnya adalah:
Disallow: /path/to/page or directory
Contoh:
Disallow: /admin/
3. Allow:
Tag ini digunakan untuk mengizinkan bot mengakses halaman atau direktori tertentu di website Anda, meskipun halaman atau direktori tersebut dilarang oleh tag Disallow. Formatnya adalah:
Allow: /path/to/page or directory
Contoh:
Disallow: /images/
Allow: /images/logo.png
4. Sitemap:
Tag ini digunakan untuk memberitahu Google lokasi peta situs (sitemap) Anda. Formatnya adalah:
Sitemap: https://www.example.com/sitemap.xml
5. Crawl-delay:
Tag ini digunakan untuk mengatur berapa lama bot harus menunggu sebelum merayapi halaman berikutnya di website Anda. Formatnya adalah:
Crawl-delay: seconds
Contoh:
Crawl-delay: 10
6. Host:
Tag ini digunakan untuk menentukan host mana yang boleh atau tidak boleh mengakses website Anda. Formatnya adalah:
Host: example.com
7. Clean-param:
Tag ini digunakan untuk memberitahu Google parameter URL mana yang boleh diabaikan saat crawling website Anda. Formatnya adalah:
Clean-param: param_name
Contoh:
Clean-param: sessionid
8. Comment:
Tag ini digunakan untuk menambahkan komentar di file robots.txt Anda. Formatnya adalah:
# This is a comment
Penting untuk dicatat bahwa file robots.txt bersifat case-sensitive.
Untuk informasi lebih lanjut tentang robots.txt, Anda dapat mengunjungi website Google Search Console:
https://developers.google.com/search/docs/advanced/robots/intro?hl=id
Posting Komentar untuk "Tag yang Bisa Digunakan di robots.txt"