Generator Robots.txt
Buat, pratinjau, dan unduh file robots.txt dengan generator online gratis kami. Konfigurasikan aturan user-agent, direktif Allow/Disallow, pengaturan crawl-delay, URL sitemap, dan kontrol bot AI melalui antarmuka daftar periksa yang intuitif - tanpa penyuntingan manual.
Build a robots.txt file with rules for search engines and AI crawlers. Toggle crawlers, configure allow/disallow paths, and add global directives - all with explanations for every option. The generated robots.txt is ready to copy or download.
Used to generate the sitemap URL. Does not leave your browser.
Search Engines & AI Crawlers
6 of 13 activeGoogle's main web crawler for search indexing.
Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training.
OpenAI's web crawler used to train ChatGPT and GPT models.
Anthropic's web crawler used to train Claude AI models.
Perplexity AI's crawler for their AI search engine.
Microsoft Bing's web crawler for search indexing.
Yahoo's web crawler for search results.
DuckDuckGo's privacy-focused search crawler.
Baidu's Chinese search engine crawler.
Yandex's Russian search engine crawler.
Facebook's crawler for link previews and Open Graph data.
Twitter/X's crawler for link card previews.
Apple's web crawler for Siri and Spotlight suggestions.
Global Settings
Add your XML sitemap URL so crawlers can discover your content.
Add a global Crawl-delay directive (in seconds) to rate-limit all crawlers.
Yandex-specific directive specifying the canonical hostname.
Ignore URL parameters to prevent duplicate content issues.
Generated robots.txt(40 lines)
# robots.txt generated by Aback Tools # https://abacktools.com/tools/web/utilities/robots-txt-generator # Googlebot # Google's main web crawler for search indexing. User-agent: Googlebot Allow: /admin/login Disallow: /private/ Disallow: /tmp/ Disallow: /admin/ # Google-Extended # Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training. User-agent: Google-Extended Disallow: / # GPTBot # OpenAI's web crawler used to train ChatGPT and GPT models. User-agent: GPTBot Disallow: / # ClaudeBot # Anthropic's web crawler used to train Claude AI models. User-agent: ClaudeBot Disallow: / # PerplexityBot # Perplexity AI's crawler for their AI search engine. User-agent: PerplexityBot Disallow: / # Bingbot # Microsoft Bing's web crawler for search indexing. User-agent: Bingbot Disallow: /private/ # Default rule - applies to all crawlers not listed above User-agent: * Disallow:
The robots.txt generator runs entirely in your browser. No data is ever sent to a server. Always verify your robots.txt with Google Search Console before deploying.
Fitur Kuat, Antarmuka Sederhana
Semua yang Anda butuhkan untuk membuat, mengelola, dan mengekspor file robots.txt untuk situs web mana pun.
- Pembuatan robots.txt Instan: buat file robots.txt lengkap dalam hitungan detik dengan antarmuka daftar periksa kami yang intuitif. Pilih crawler, tetapkan direktif, dan pratinjau hasilnya - tanpa penyuntingan manual.
- Pratinjau Sintaks Langsung: lihat robots.txt Anda dirender dalam waktu nyata saat Anda mengonfigurasi opsi. Panel pratinjau langsung menampilkan hasil persis yang dapat Anda salin atau unduh, menghilangkan dugaan dan salah ketik.
- Praktik Terbaik SEO Terintegrasi: opsi terpandu untuk pola SEO umum termasuk pengiriman URL sitemap, crawl-delay untuk perayapan yang sopan, dan direktif bot AI untuk mengelola akses crawler LLM.
- Salin & Unduh: salin ke papan klip dengan satu klik atau unduh sebagai file .txt. Tanpa pendaftaran dan tanpa unggahan ke server - semuanya berjalan lokal di browser Anda.
Siapa yang Membutuhkan Generator Robots.txt?
Dari blog pribadi hingga SEO perusahaan - siapa pun yang mengelola situs web mendapat manfaat dari robots.txt yang dirancang dengan baik.
- Meluncurkan Situs Web Baru: buat robots.txt yang tepat saat meluncurkan situs baru untuk mengarahkan mesin pencari ke halaman yang benar dan menjaga area staging atau privat tetap di luar indeks.
- Audit & Optimasi SEO: selama audit SEO, bangun ulang robots.txt Anda untuk memperbaiki masalah umum seperti memblokir sumber daya penting atau mengizinkan crawler yang tidak diinginkan pada jalur privat.
- Situs E-Commerce & Keanggotaan: cegah mesin pencari mengindeks halaman keranjang, pembayaran, login, dan akun sambil memastikan halaman produk dan kategori sepenuhnya dapat dirayapi.
- Blog & Penerbit Konten: konfigurasikan crawl-delay agar sopan terhadap server selama periode lalu lintas tinggi, kirim URL sitemap, dan kelola akses crawler pelatihan AI.
- Pembelajaran & Pendidikan: siswa dan pendidik yang mempelajari SEO dan perayapan web dapat bereksperimen dengan direktif robots.txt di lingkungan visual yang aman.
- Agensi & Hasil Kerja Klien: buat dan ekspor file robots.txt yang bersih dengan cepat untuk banyak situs klien dengan pola konsisten untuk sitemap, crawl-delay, dan kebijakan bot AI.
Tentang Generator Robots.txt
Semua yang perlu Anda ketahui tentang membuat dan mengelola file robots.txt untuk situs web Anda.
Pertanyaan yang Sering Diajukan
Generator robots.txt adalah alat yang membantu Anda membuat file robots.txt yang valid melalui antarmuka intuitif alih-alih menulisnya secara manual. Generator robots.txt kami berjalan sepenuhnya di browser Anda - pilih crawler, tetapkan direktif, konfigurasikan crawl-delay dan sitemap, lalu salin atau unduh hasilnya. Tanpa pendaftaran.
Letakkan file robots.txt Anda di direktori akar situs web Anda agar dapat diakses di https://domainanda.com/robots.txt. Sebagian besar panel kontrol hosting (cPanel, dll.) dan platform CMS menyediakan pengelola file tempat Anda dapat mengunggah atau mengedit file ini. Setelah membuat robots.txt dengan alat kami, cukup unduh dan unggah ke akar server Anda.
Tentu saja. Seluruh pembuatan robots.txt terjadi secara lokal di browser Anda menggunakan JavaScript. Pengaturan, direktif, dan konfigurasi Anda tidak pernah dikirim ke server mana pun, disimpan, atau dicatat. Data Anda tetap sepenuhnya privat di perangkat Anda.
Ya - generator robots.txt kami 100 % gratis tanpa pendaftaran, tanpa akun, dan tanpa batas penggunaan. Buat sebanyak apa pun file robots.txt yang Anda butuhkan, sepenuhnya gratis selamanya.
Disallow memberi tahu crawler bahwa mereka tidak boleh mengakses jalur URL tertentu. Allow menimpa aturan Disallow untuk jalur yang lebih spesifik. Keduanya mengikuti aturan kecocokan terpanjang: jalur paling spesifik yang menang. Misalnya, Anda dapat menerapkan Disallow pada seluruh direktori tetapi Allow pada file tertentu di dalamnya. Generator kami menangani prioritas ini secara otomatis.
Banyak pemilik situs memilih memblokir crawler pelatihan AI (GPTBot, CCBot, Claude-Web, dll.) untuk mencegah konten mereka digunakan melatih model bahasa besar. Generator kami menyertakan tombol khusus untuk crawler ini sehingga Anda dapat membuat keputusan yang tepat tentang akses bot AI ke konten Anda.
Crawl-Delay memberi tahu crawler mesin pencari untuk menunggu sejumlah detik tertentu di antara permintaan berturut-turut ke server Anda. Ini berguna untuk paket hosting bersama atau server dengan batas laju. Bingbot dan Yandex mendukung Crawl-Delay; Google menggunakan pengaturan laju perayapan sendiri di Search Console.
Tambahkan direktif Sitemap di bagian bawah file robots.txt Anda yang menunjuk ke URL sitemap XML Anda. Generator kami menyertakan kolom khusus sitemap dan otomatis menempatkan direktif di posisi yang benar di akhir file. Anda dapat menyertakan beberapa URL sitemap jika Anda memiliki sitemap terpisah untuk berbagai jenis konten.
Bisa - alat kami menyediakan pratinjau langsung sehingga Anda melihat persis bagaimana robots.txt Anda akan terlihat. Untuk pengujian lanjutan, gunakan penguji robots.txt dari Google Search Console atau alat Validator Robots.txt kami untuk memeriksa kesalahan sintaks dan masalah praktik terbaik sebelum menerapkan ke produksi.