Tool Gratis
Robots.txt Generator
Generate file robots.txt untuk website kamu dengan mudah. Pastikan crawler AI dan search engine bisa mengakses halaman yang tepat.
Informasi Website
Aturan Crawler
Allow (Izinkan)
Disallow (Blokir)
Preview robots.txt
# Generated by ShortcutSistem # https://shortcutsistem.com/robots-txt-generator User-agent: * Disallow: /admin Disallow: /private
Generated successfully!
Salin kode ini dan paste ke file robots.txt di root website kamu.
Tips Penting
- 1.Place file robots.txt di root website: tokobaju.com/robots.txt
- 2.Disallow /admin, /login, /checkout untuk halaman sensitif
- 3.Allow / untuk pastikan halaman utama bisa di-crawl
- 4.AI bots (GPTBot, ClaudeBot) penting untuk AI visibility
- 5.Jangan blokir /sitemap.xml
AI Crawler
Crawler AI yang Penting untuk Diperhatikan
GPTBot - AI Crawler
Jika website kamu mau muncul di ChatGPT responses, jangan blokir GPTBot.
ClaudeBot - AI Crawler
Beberapa AI menggunakan crawler ini untuk mengambil data website.
Googlebot - Google AI Overview
Google sekarang gunakan AI untuk generate answers. Pastikan Googlebot bisa akses konten kamu.
CCBot - Common Crawl
Dataset ini dipakai banyak AI untuk training. Bisa bantu meningkatkan AI visibility.