Cara Menambahkan Sitemap di robots.txt

Untuk menambahkan sitemap di robots.txt, ikuti langkah-langkah berikut:

1. Buat file robots.txt:

• Buka text editor seperti Notepad++ atau Sublime Text.
• Buat file baru dengan nama "robots.txt".
• Simpan file di root directory website Anda, yaitu di folder yang sama dengan file index.html.

2. Tambahkan baris sitemap:

• Buka file robots.txt yang telah Anda buat.
• Tambahkan baris berikut:

Sitemap: https://www.nngroup.com/articles/site-map-usability/

Contoh:

Sitemap: https://www.websiteanda.com/sitemap.xml

3. Verifikasi sitemap Anda:

• Buka Google Search Console.
• Klik pada tab "Sitemap".
• Klik tombol "Add/Test Sitemap".
• Masukkan URL sitemap Anda dan klik tombol "Submit".

Tips:

• Anda dapat menambahkan beberapa baris sitemap di robots.txt, satu baris untuk setiap sitemap.
• Pastikan URL sitemap Anda benar.
• Anda dapat menggunakan Google Search Console untuk melihat apakah sitemap Anda telah diindex oleh Google.

Berikut adalah beberapa contoh robots.txt yang menyertakan sitemap:

Contoh 1:

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://www.websiteanda.com/sitemap.xml

Contoh 2:

User-agent: Googlebot
Disallow: /images/
Allow: /

Sitemap: https://www.websiteanda.com/sitemap.xml
Sitemap: https://www.websiteanda.com/blog/sitemap.xml

Informasi tambahan:

• Robots.txt file format: https://developers.google.com/search/docs/advanced/robots/robots_txt
• Sitemap protocol: https://developers.google.com/search/docs/advanced/sitemaps/build-sitemap
• Google Search Console: https://search.google.com/search-console/about

Semoga bermanfaat!

Berbagi :