Gerador de robots.txt
Crie, visualize e baixe arquivos robots.txt com nosso gerador online grátis. Configure regras de user-agent, diretivas Allow/Disallow, ajustes de crawl-delay, URLs de sitemap e controles de bots de IA por meio de uma interface de lista de verificação intuitiva - sem edição manual.
Build a robots.txt file with rules for search engines and AI crawlers. Toggle crawlers, configure allow/disallow paths, and add global directives - all with explanations for every option. The generated robots.txt is ready to copy or download.
Used to generate the sitemap URL. Does not leave your browser.
Search Engines & AI Crawlers
6 of 13 activeGoogle's main web crawler for search indexing.
Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training.
OpenAI's web crawler used to train ChatGPT and GPT models.
Anthropic's web crawler used to train Claude AI models.
Perplexity AI's crawler for their AI search engine.
Microsoft Bing's web crawler for search indexing.
Yahoo's web crawler for search results.
DuckDuckGo's privacy-focused search crawler.
Baidu's Chinese search engine crawler.
Yandex's Russian search engine crawler.
Facebook's crawler for link previews and Open Graph data.
Twitter/X's crawler for link card previews.
Apple's web crawler for Siri and Spotlight suggestions.
Global Settings
Add your XML sitemap URL so crawlers can discover your content.
Add a global Crawl-delay directive (in seconds) to rate-limit all crawlers.
Yandex-specific directive specifying the canonical hostname.
Ignore URL parameters to prevent duplicate content issues.
Generated robots.txt(40 lines)
# robots.txt generated by Aback Tools # https://abacktools.com/tools/web/utilities/robots-txt-generator # Googlebot # Google's main web crawler for search indexing. User-agent: Googlebot Allow: /admin/login Disallow: /private/ Disallow: /tmp/ Disallow: /admin/ # Google-Extended # Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training. User-agent: Google-Extended Disallow: / # GPTBot # OpenAI's web crawler used to train ChatGPT and GPT models. User-agent: GPTBot Disallow: / # ClaudeBot # Anthropic's web crawler used to train Claude AI models. User-agent: ClaudeBot Disallow: / # PerplexityBot # Perplexity AI's crawler for their AI search engine. User-agent: PerplexityBot Disallow: / # Bingbot # Microsoft Bing's web crawler for search indexing. User-agent: Bingbot Disallow: /private/ # Default rule - applies to all crawlers not listed above User-agent: * Disallow:
The robots.txt generator runs entirely in your browser. No data is ever sent to a server. Always verify your robots.txt with Google Search Console before deploying.
Recursos poderosos, interface simples
Tudo o que você precisa para criar, gerenciar e exportar arquivos robots.txt para qualquer site.
- Geração instantânea de robots.txt: monte um arquivo robots.txt completo em segundos com nossa interface intuitiva de lista de verificação. Selecione rastreadores, defina diretivas e visualize o resultado - sem edição manual.
- Pré-visualização de sintaxe ao vivo: veja seu robots.txt ser renderizado em tempo real enquanto configura as opções. O painel de pré-visualização mostra exatamente o resultado que você pode copiar ou baixar, eliminando suposições e erros de digitação.
- Boas práticas de SEO integradas: opções guiadas para padrões comuns de SEO, incluindo envio de URL de sitemap, crawl-delay para rastreamento cortês e diretivas de bots de IA para gerenciar o acesso de rastreadores de LLM.
- Copiar e baixar: copie para a área de transferência com um clique ou baixe como arquivo .txt. Sem cadastro e sem upload para servidores - tudo roda localmente no seu navegador.
Quem precisa de um gerador de robots.txt?
De blogs pessoais a SEO corporativo - qualquer pessoa que gerencia um site se beneficia de um robots.txt bem elaborado.
- Lançamento de um site novo: gere um robots.txt adequado ao lançar um site para orientar os mecanismos de busca às páginas certas e manter áreas de teste ou privadas fora do índice.
- Auditoria e otimização de SEO: durante uma auditoria de SEO, reconstrua seu robots.txt para corrigir problemas comuns, como bloquear recursos importantes ou permitir rastreadores indesejados em caminhos privados.
- E-commerce e sites com assinatura: impeça os mecanismos de busca de indexar páginas de carrinho, checkout, login e conta, garantindo ao mesmo tempo que páginas de produto e categorias sejam totalmente rastreáveis.
- Blogs e editores de conteúdo: configure o crawl-delay para ser cortês com os servidores em períodos de alto tráfego, envie URLs de sitemap e gerencie o acesso de rastreadores de treinamento de IA.
- Aprendizagem e educação: estudantes e educadores que aprendem sobre SEO e rastreamento web podem experimentar diretivas de robots.txt em um ambiente visual e seguro.
- Agências e entregas para clientes: gere e exporte rapidamente arquivos robots.txt limpos para vários sites de clientes com padrões consistentes de sitemaps, crawl-delay e políticas de bots de IA.
Sobre o gerador de robots.txt
Tudo o que você precisa saber para criar e gerenciar arquivos robots.txt para o seu site.
Perguntas frequentes
Um gerador de robots.txt é uma ferramenta que ajuda você a criar um arquivo robots.txt válido por meio de uma interface intuitiva, em vez de escrevê-lo manualmente. Nosso gerador de robots.txt roda inteiramente no seu navegador - selecione rastreadores, defina diretivas, configure crawl-delay e sitemaps, e copie ou baixe o resultado. Sem cadastro.
Coloque seu arquivo robots.txt no diretório raiz do seu site para que fique acessível em https://seudominio.com/robots.txt. A maioria dos painéis de controle de hospedagem (cPanel etc.) e plataformas de CMS oferece um gerenciador de arquivos onde você pode enviar ou editar esse arquivo. Depois de gerar seu robots.txt com nossa ferramenta, basta baixá-lo e enviá-lo para a raiz do seu servidor.
Com certeza. Toda a geração do robots.txt acontece localmente no seu navegador com JavaScript. Suas configurações, diretivas e ajustes nunca são enviados a nenhum servidor, armazenados ou registrados. Seus dados permanecem totalmente privados no seu dispositivo.
Sim - nosso gerador de robots.txt é 100 % grátis, sem cadastro, sem conta e sem limites de uso. Gere quantos arquivos robots.txt você precisar, totalmente grátis para sempre.
Disallow informa aos rastreadores que eles não devem acessar um caminho de URL especificado. Allow substitui uma regra Disallow para um caminho mais específico. Ambas seguem a regra da correspondência mais longa: o caminho mais específico vence. Por exemplo, você pode aplicar Disallow a um diretório inteiro e ainda assim permitir um arquivo específico dentro dele com Allow. Nosso gerador trata essa precedência automaticamente.
Muitos proprietários de sites optam por bloquear rastreadores de treinamento de IA (GPTBot, CCBot, Claude-Web etc.) para evitar que seu conteúdo seja usado para treinar grandes modelos de linguagem. Nosso gerador inclui chaves específicas para esses rastreadores, para que você tome decisões informadas sobre o acesso de bots de IA ao seu conteúdo.
O Crawl-Delay informa aos rastreadores de mecanismos de busca para esperar um número específico de segundos entre requisições sucessivas ao seu servidor. Isso é útil em planos de hospedagem compartilhada ou servidores com limites de taxa. O Bingbot e o Yandex suportam Crawl-Delay; o Google usa suas próprias configurações de taxa de rastreamento no Search Console.
Adicione uma diretiva Sitemap no final do seu arquivo robots.txt apontando para a URL do seu sitemap XML. Nosso gerador inclui um campo específico para o sitemap e coloca automaticamente a diretiva no lugar correto, ao final do arquivo. Você pode incluir várias URLs de sitemap se tiver sitemaps separados para diferentes tipos de conteúdo.
Sim - nossa ferramenta oferece uma pré-visualização ao vivo para que você veja exatamente como seu robots.txt ficará. Para testes avançados, use o testador de robots.txt do Google Search Console ou nossa ferramenta Validador de robots.txt para verificar erros de sintaxe e problemas de boas práticas antes de publicar em produção.