Master Website Tools
Robots.txt Generator
Atur peraturan untuk mesin pencari tentang halaman mana yang boleh dan tidak boleh mereka kunjungi.
Kebijakan Default untuk Semua Bot (*):
Izinkan Semua (Disallow kosong)
Tolak Semua (Disallow: /)
Direktori/File yang Dilarang (untuk semua bot):
Blokir Bot AI (Opsional)
Blokir Google-Extended (Bard/Gemini, Vertex AI)
Blokir ChatGPT-User (OpenAI)
Blokir CCBot (Common Crawl)
Lokasi Sitemap (Wajib diisi jika Anda punya):
Buat Robots.txt!