Конструктор метатегов роботов
Создавайте, проверяйте и визуально просматривайте директивы сканирования поисковых систем. Выберите index/noindex, Follow/nofollow и просмотрите настройки размера, проверьте свою конфигурацию с помощью нашего живого аудитора и мгновенно загрузите HTML-тег или код заголовка HTTP-ответа. Частный, быстрый и полностью локальный.
Customize crawler permissions, indexing options, following targets, and search snippet configurations.
Directives will target this specific crawler bot.
Primary Indexing & Crawling
Indexing Directives
Link Following
Advanced Crawling Options
Do not show cached link in search results
Do not show text or video snippet preview
Do not index images on this page
Do not offer translation of this page
Do not index if embedded inside iframes
Snippet Size Constraints
SEO Conflict Auditor
Client-SideSEO Tip: Consider setting 'max-image-preview: large' to allow search engines to display high-resolution images, increasing CTR in Google Discover.
By default, search engines assume 'index' when no indexing directive is specified. Declaring 'index' explicitly is optional but standard.
Зачем использовать наш конструктор метатегов роботов?
- Визуальный генератор тегов: создавайте полные теги роботов с помощью визуальных флажков вместо синтаксиса кода. Выберите нужные настройки и мгновенно увидите обновление HTML-тега.
- 100% конфиденциальность на стороне клиента: создание всех тегов выполняется локально в вашем браузере. Выбранные вами конфигурации, каталоги или имена частных страниц никогда не затрагивают внешние серверы или API.
- SEO Conflict Auditor: динамически проверяет ваш выбор по мере настройки. Мгновенно выявляет конфликты поисковых систем, например, установку index и noindex в одном правиле.
- Настройка нескольких ботов: поддержка целевого таргетинга сканеров. Создавайте отдельные метатеги для робота googlebot, bingbot, googlebot-image или любого другого поискового робота с помощью одного инструмента.
Что такое метатег роботов?
Метатег роботов — это HTML-тег, размещенный в разделе <head> веб-страницы, который предоставляет сканерам поисковых систем инструкции по индексированию и сканированию содержимого страницы. В отличие от файла robots.txt, который ограничивает доступ сканеров к каталогам, метатеги позволяют настройку на уровне страницы после посещения ботом.
Ключевые директивы индексирования и сканирования
Наиболее распространенными директивами являются noindex (предотвращает появление страницы в результатах поисковых систем) и nofollow (не позволяет сканерам переходить по исходящим ссылкам на странице). По умолчанию пауки поисковых систем предполагают «индекс, подписка», если вы не указали иное в коде страницы.
Расширенные элементы управления фрагментами
Современные поисковые системы поддерживают директивы управления фрагментами. Например, nosnippet блокирует любое текстовое описание или предварительный просмотр под вашей ссылкой, а max-snippet устанавливает ограничение на количество символов. Такие директивы, как «max-image-preview: big», позволяют каналам поисковых систем отображать высококачественные визуальные карточки.
Альтернатива HTTP-заголовку (X-Robots-Tag)
Для ресурсов, отличных от HTML (например, файлов PDF, загрузок электронных таблиц, изображений или полезных данных API JSON), вы не можете объявлять метатеги HTML. Вместо этого администраторы веб-сайта настраивают ответ сервера, включив в него HTTP-заголовок ответа X-Robots-Tag. Он поддерживает те же директивы сканирования, что и метатеги HTML.
Часто задаваемые вопросы
Метатег роботов — это HTML-тег уровня страницы, который предоставляет сканерам поисковых систем инструкции по индексированию и сканированию веб-страницы. Размещенный в разделе заголовка страницы, он мгновенно контролирует поведение индексации, переход по ссылкам, политику архивирования, настройки перевода и длину текстовых фрагментов для конкретных ботов поисковых систем.
Файл robots.txt — это документ всего сайта, который полностью блокирует или разрешает сканерам доступ к каталогам. Напротив, метатег robots контролирует поведение индексации и сканирования на уровне страницы после того, как паук поисковой системы успешно просканировал веб-страницу, что теперь дает разработчикам более детальные элементы управления конфигурацией на уровне контента.
Да. Наш конструктор метатегов Robots работает полностью на стороне клиента внутри вашего локального веб-браузера. Настройки директив, выбранные сканеры и значения никогда не передаются во внешние базы данных или серверы. Все скомпилированные результаты обрабатываются только на вашем устройстве, что гарантирует полную конфиденциальность стратегий индексации вашего веб-сайта бесплатно в Интернете.
Директива noindex предписывает сканерам поисковых систем не отображать страницу в списках результатов поиска. Это полезно для пользовательских информационных панелей, маршрутов оформления заказа, повторяющихся целевых версий или предварительных просмотров разработки, которые вы хотите скрыть от общедоступных индексов запросов, в то же время позволяя сканерам находить страницы, переходя по ссылкам напрямую.
Директива nofollow сообщает поисковым системам не переходить по исходящим ссылкам, присутствующим на веб-странице. Включив эту директиву, вы не позволяете сканерам сканировать связанные ресурсы или передавать авторитет PageRank с вашего сайта на целевые URL-адреса, помогая вам защитить внешние ссылки и мгновенно и легко сохранить ценность вашей страницы.
Вам следует использовать HTTP-заголовок ответа X-Robots-Tag для настройки директив сканирования для файлов, отличных от HTML. Поскольку документы PDF, электронные таблицы Excel, изображения, текстовые файлы и полезные данные JSON не могут содержать теги заголовков HTML, настройка вашего сервера на возврат этого заголовка HTTP гарантирует, что поисковые системы теперь будут безопасно следовать правилам индексации для всех ресурсов.
Директива max-image-preview:large позволяет поисковым системам отображать миниатюры предварительного просмотра в полном разрешении для ресурсов вашей страницы в результатах поиска. Установка этой директивы настоятельно рекомендуется для страниц с контентом, поскольку большие изображения повышают рейтинг кликов по поисковым фрагментам и позволяют бесплатно отображать вашу графику в популярных каналах Google Discover по всему миру.
Да. Вы можете настроить таргетинг на конкретных сканеров, подставив стандартные имена роботов в атрибут имени метатега. Установка имени для googlebot настраивает правила исключительно для сканеров Google, а имя, заданное для bingbot, ограничивает пауков Bing, что позволяет теперь очень легко устанавливать разные директивы индексирования для каждого бота поисковой системы.