🏠 / Robot.Txt Generator / Page Tools ▾ TOOL | SITEMAP | CARI | TERMS

Robot.txt generator adalah alat (online tool) yang dapat membantu anda sebagai pemilik website, blog, atau aplikasi untuk membuat file robots.txt secara otomatis tanpa harus menulis manual. File ini digunakan untuk mengatur bagaimana mesin pencari seperti Google mengakses dan merayapi halaman website secara cepat, mudah, dan gratis melalui Tool dibawah:

Robots.txt Generator

Sitemap URL Disallow Path (pisahkan koma) Allow Path (opsional)

Output

Fungsi & Tujuan:
- Mengatur halaman yang boleh atau tidak boleh diindeks oleh search engine
- Mencegah halaman penting seperti admin, login, atau data pribadi muncul di Google
- Membantu SEO agar lebih rapi dan terarah
- Menentukan lokasi sitemap agar mudah ditemukan crawler

Arti setiap input:
1. Sitemap URL → Alamat file sitemap.xml website kamu (contoh: https://domain.com/sitemap.xml)

2. Disallow Path → Folder atau halaman yang tidak boleh diakses Google (contoh: /admin, /login, /private)

3. Allow Path → Folder yang tetap diizinkan meskipun ada aturan blok (contoh: /public, /)

4. User-agent → Bot mesin pencari yang mengakses website (biasanya * untuk semua bot)

5. Output → Hasil file robots.txt yang siap dipasang di website

Peringatan!

Pastikan Anda membaca syarat dan ketentuan sebelum menggunakan tools ini. Kesalahan penggunaan dapat menyebabkan kode script tidak berfungsi.