Генератор robots.txt
Создавайте, просматривайте и скачивайте файлы robots.txt с нашим бесплатным онлайн-генератором. Настраивайте правила user-agent, директивы Allow/Disallow, параметры crawl-delay, URL карт сайта и управление ИИ-ботами через интуитивный интерфейс-чеклист — без ручного редактирования.
Build a robots.txt file with rules for search engines and AI crawlers. Toggle crawlers, configure allow/disallow paths, and add global directives - all with explanations for every option. The generated robots.txt is ready to copy or download.
Used to generate the sitemap URL. Does not leave your browser.
Search Engines & AI Crawlers
6 of 13 activeGoogle's main web crawler for search indexing.
Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training.
OpenAI's web crawler used to train ChatGPT and GPT models.
Anthropic's web crawler used to train Claude AI models.
Perplexity AI's crawler for their AI search engine.
Microsoft Bing's web crawler for search indexing.
Yahoo's web crawler for search results.
DuckDuckGo's privacy-focused search crawler.
Baidu's Chinese search engine crawler.
Yandex's Russian search engine crawler.
Facebook's crawler for link previews and Open Graph data.
Twitter/X's crawler for link card previews.
Apple's web crawler for Siri and Spotlight suggestions.
Global Settings
Add your XML sitemap URL so crawlers can discover your content.
Add a global Crawl-delay directive (in seconds) to rate-limit all crawlers.
Yandex-specific directive specifying the canonical hostname.
Ignore URL parameters to prevent duplicate content issues.
Generated robots.txt(40 lines)
# robots.txt generated by Aback Tools # https://abacktools.com/tools/web/utilities/robots-txt-generator # Googlebot # Google's main web crawler for search indexing. User-agent: Googlebot Allow: /admin/login Disallow: /private/ Disallow: /tmp/ Disallow: /admin/ # Google-Extended # Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training. User-agent: Google-Extended Disallow: / # GPTBot # OpenAI's web crawler used to train ChatGPT and GPT models. User-agent: GPTBot Disallow: / # ClaudeBot # Anthropic's web crawler used to train Claude AI models. User-agent: ClaudeBot Disallow: / # PerplexityBot # Perplexity AI's crawler for their AI search engine. User-agent: PerplexityBot Disallow: / # Bingbot # Microsoft Bing's web crawler for search indexing. User-agent: Bingbot Disallow: /private/ # Default rule - applies to all crawlers not listed above User-agent: * Disallow:
The robots.txt generator runs entirely in your browser. No data is ever sent to a server. Always verify your robots.txt with Google Search Console before deploying.
Мощные возможности, простой интерфейс
Всё, что нужно для создания, управления и экспорта файлов robots.txt для любого сайта.
- Мгновенное создание robots.txt: соберите полный файл robots.txt за секунды с помощью интуитивного интерфейса-чеклиста. Выбирайте краулеров, задавайте директивы и просматривайте результат — без ручного редактирования.
- Живой предпросмотр синтаксиса: смотрите, как ваш robots.txt отображается в реальном времени по мере настройки. Панель живого предпросмотра показывает точный результат, который можно скопировать или скачать, исключая догадки и опечатки.
- Встроенные SEO-практики: подсказки для типовых SEO-задач, включая указание URL карты сайта, crawl-delay для вежливого обхода и директивы для управления доступом краулеров LLM.
- Копирование и скачивание: копирование в буфер обмена одним щелчком или скачивание файла .txt. Без регистрации и без загрузки на серверы — всё работает локально в вашем браузере.
Кому нужен генератор robots.txt?
От личных блогов до корпоративного SEO — каждому, кто управляет сайтом, полезен грамотно составленный robots.txt.
- Запуск нового сайта: создайте правильный robots.txt при запуске сайта, чтобы направлять поисковые системы на нужные страницы и держать тестовые и приватные разделы вне индекса.
- SEO-аудит и оптимизация: во время SEO-аудита пересоберите robots.txt, чтобы исправить типовые проблемы — блокировку важных ресурсов или допуск нежелательных краулеров к приватным путям.
- Электронная коммерция и сайты с подпиской: запретите поисковым системам индексировать страницы корзины, оплаты, входа и аккаунта, обеспечив при этом полную индексируемость страниц товаров и категорий.
- Блоги и издатели контента: настройте crawl-delay, чтобы быть вежливыми к серверам в периоды высокого трафика, отправляйте URL карт сайта и управляйте доступом краулеров для обучения ИИ.
- Обучение и образование: студенты и преподаватели, изучающие SEO и веб-обход, могут экспериментировать с директивами robots.txt в безопасной визуальной среде.
- Агентства и клиентские проекты: быстро создавайте и экспортируйте чистые файлы robots.txt для множества сайтов клиентов с единообразными шаблонами карт сайта, crawl-delay и политик для ИИ-ботов.
О генераторе robots.txt
Всё, что нужно знать о создании и управлении файлами robots.txt для вашего сайта.
Часто задаваемые вопросы
Генератор robots.txt — это инструмент, который помогает создать корректный файл robots.txt через интуитивный интерфейс вместо ручного написания. Наш генератор robots.txt работает полностью в вашем браузере: выбирайте краулеров, задавайте директивы, настраивайте crawl-delay и карты сайта, затем копируйте или скачивайте результат. Без регистрации.
Разместите файл robots.txt в корневом каталоге вашего сайта, чтобы он был доступен по адресу https://вашдомен.com/robots.txt. Большинство панелей управления хостингом (cPanel и др.) и CMS-платформ предоставляют файловый менеджер, где можно загрузить или отредактировать этот файл. После создания robots.txt нашим инструментом просто скачайте его и загрузите в корень сервера.
Безусловно. Всё создание robots.txt происходит локально в вашем браузере на JavaScript. Ваши настройки, директивы и конфигурация никогда не отправляются на сервер, не сохраняются и не логируются. Данные остаются полностью приватными на вашем устройстве.
Да — наш генератор robots.txt полностью бесплатный, без регистрации, аккаунта и ограничений на использование. Создавайте сколько угодно файлов robots.txt, совершенно бесплатно и навсегда.
Disallow сообщает краулерам, что им нельзя обращаться к указанному пути URL. Allow переопределяет правило Disallow для более конкретного пути. Оба следуют правилу самого длинного совпадения: побеждает наиболее конкретный путь. Например, можно запретить целый каталог, но разрешить конкретный файл внутри него. Наш генератор учитывает этот приоритет автоматически.
Многие владельцы сайтов блокируют краулеры для обучения ИИ (GPTBot, CCBot, Claude-Web и др.), чтобы их контент не использовался для обучения больших языковых моделей. Наш генератор включает отдельные переключатели для этих краулеров, чтобы вы могли принимать обоснованные решения о доступе ИИ-ботов к вашему контенту.
Crawl-Delay указывает краулерам поисковых систем ждать определённое число секунд между последовательными запросами к вашему серверу. Это полезно при виртуальном хостинге или на серверах с ограничениями по скорости запросов. Bingbot и Yandex поддерживают Crawl-Delay; Google вместо этого использует собственные настройки скорости обхода в Search Console.
Добавьте директиву Sitemap в конце файла robots.txt, указав URL вашей XML-карты сайта. Наш генератор включает отдельное поле для карты сайта и автоматически размещает директиву в правильном месте — в конце файла. Можно указать несколько URL карт сайта, если у вас разные карты для разных типов контента.
Да — наш инструмент показывает живой предпросмотр, чтобы вы видели, как именно будет выглядеть ваш robots.txt. Для расширенной проверки используйте тестер robots.txt в Google Search Console или наш инструмент «Валидатор robots.txt», чтобы найти синтаксические ошибки и проблемы с лучшими практиками до публикации.