Generador de robots.txt
Crea, previsualiza y descarga archivos robots.txt con nuestro generador online gratis. Configura reglas de user-agent, directivas Allow/Disallow, ajustes de crawl-delay, URLs de sitemap y controles de bots de IA mediante una interfaz de lista de comprobación intuitiva, sin necesidad de editar nada a mano.
Build a robots.txt file with rules for search engines and AI crawlers. Toggle crawlers, configure allow/disallow paths, and add global directives - all with explanations for every option. The generated robots.txt is ready to copy or download.
Used to generate the sitemap URL. Does not leave your browser.
Search Engines & AI Crawlers
6 of 13 activeGoogle's main web crawler for search indexing.
Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training.
OpenAI's web crawler used to train ChatGPT and GPT models.
Anthropic's web crawler used to train Claude AI models.
Perplexity AI's crawler for their AI search engine.
Microsoft Bing's web crawler for search indexing.
Yahoo's web crawler for search results.
DuckDuckGo's privacy-focused search crawler.
Baidu's Chinese search engine crawler.
Yandex's Russian search engine crawler.
Facebook's crawler for link previews and Open Graph data.
Twitter/X's crawler for link card previews.
Apple's web crawler for Siri and Spotlight suggestions.
Global Settings
Add your XML sitemap URL so crawlers can discover your content.
Add a global Crawl-delay directive (in seconds) to rate-limit all crawlers.
Yandex-specific directive specifying the canonical hostname.
Ignore URL parameters to prevent duplicate content issues.
Generated robots.txt(40 lines)
# robots.txt generated by Aback Tools # https://abacktools.com/tools/web/utilities/robots-txt-generator # Googlebot # Google's main web crawler for search indexing. User-agent: Googlebot Allow: /admin/login Disallow: /private/ Disallow: /tmp/ Disallow: /admin/ # Google-Extended # Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training. User-agent: Google-Extended Disallow: / # GPTBot # OpenAI's web crawler used to train ChatGPT and GPT models. User-agent: GPTBot Disallow: / # ClaudeBot # Anthropic's web crawler used to train Claude AI models. User-agent: ClaudeBot Disallow: / # PerplexityBot # Perplexity AI's crawler for their AI search engine. User-agent: PerplexityBot Disallow: / # Bingbot # Microsoft Bing's web crawler for search indexing. User-agent: Bingbot Disallow: /private/ # Default rule - applies to all crawlers not listed above User-agent: * Disallow:
The robots.txt generator runs entirely in your browser. No data is ever sent to a server. Always verify your robots.txt with Google Search Console before deploying.
Funciones potentes, interfaz sencilla
Todo lo que necesitas para crear, gestionar y exportar archivos robots.txt para cualquier sitio web.
- Generación instantánea de robots.txt: construye un archivo robots.txt completo en segundos con nuestra interfaz intuitiva de lista de comprobación. Selecciona rastreadores, define directivas y previsualiza el resultado, sin editar nada a mano.
- Vista previa de sintaxis en vivo: ve tu robots.txt renderizarse en tiempo real mientras configuras las opciones. El panel de vista previa en vivo muestra el resultado exacto que puedes copiar o descargar, eliminando conjeturas y erratas.
- Buenas prácticas SEO integradas: opciones guiadas para patrones SEO habituales, como el envío de URLs de sitemap, el crawl-delay para un rastreo respetuoso y directivas para bots de IA que gestionan el acceso de rastreadores de LLM.
- Copiar y descargar: copia al portapapeles con un clic o descarga como archivo .txt. Sin registro y sin subidas a servidores: todo se ejecuta localmente en tu navegador.
¿Quién necesita un generador de robots.txt?
Desde blogs personales hasta SEO empresarial: cualquiera que gestione un sitio web se beneficia de un robots.txt bien elaborado.
- Lanzamiento de un sitio nuevo: genera un robots.txt adecuado al lanzar un sitio nuevo para guiar a los motores de búsqueda a las páginas correctas y mantener fuera del índice las zonas de staging o privadas.
- Auditoría y optimización SEO: durante una auditoría SEO, reconstruye tu robots.txt para corregir problemas habituales, como bloquear recursos importantes o permitir rastreadores no deseados en rutas privadas.
- Comercio electrónico y sitios con membresía: evita que los motores de búsqueda indexen las páginas de carrito, pago, inicio de sesión y cuenta, a la vez que aseguras que las páginas de producto y las categorías sean totalmente rastreables.
- Blogs y editores de contenido: configura el crawl-delay para ser respetuoso con los servidores en periodos de mucho tráfico, envía URLs de sitemap y gestiona el acceso de los rastreadores de entrenamiento de IA.
- Aprendizaje y educación: los estudiantes y docentes que aprenden sobre SEO y rastreo web pueden experimentar con las directivas de robots.txt en un entorno visual y seguro.
- Agencias y entregables para clientes: genera y exporta rápidamente archivos robots.txt limpios para varios sitios de clientes con patrones coherentes de sitemaps, crawl-delay y políticas de bots de IA.
Sobre el generador de robots.txt
Todo lo que necesitas saber para crear y gestionar archivos robots.txt para tu sitio web.
Preguntas frecuentes
Un generador de robots.txt es una herramienta que te ayuda a crear un archivo robots.txt válido mediante una interfaz intuitiva en lugar de escribirlo a mano. Nuestro generador de robots.txt se ejecuta íntegramente en tu navegador: selecciona rastreadores, define directivas, configura crawl-delay y sitemaps, y copia o descarga el resultado. Sin registro.
Coloca tu archivo robots.txt en el directorio raíz de tu sitio web para que sea accesible en https://tudominio.com/robots.txt. La mayoría de los paneles de control de hosting (cPanel, etc.) y de las plataformas CMS ofrecen un gestor de archivos donde puedes subir o editar este archivo. Después de generar tu robots.txt con nuestra herramienta, basta con descargarlo y subirlo a la raíz de tu servidor.
Por supuesto. Toda la generación de robots.txt ocurre localmente en tu navegador con JavaScript. Tus ajustes, directivas y configuración nunca se envían a ningún servidor, ni se almacenan ni se registran. Tus datos permanecen totalmente privados en tu dispositivo.
Sí: nuestro generador de robots.txt es 100 % gratis, sin registro, sin cuenta y sin límites de uso. Genera tantos archivos robots.txt como necesites, totalmente gratis para siempre.
Disallow indica a los rastreadores que no deben acceder a una ruta URL concreta. Allow anula una regla Disallow para una ruta más específica. Ambas siguen la regla de la coincidencia más larga: gana la ruta más específica. Por ejemplo, puedes aplicar Disallow a un directorio completo pero Allow a un archivo concreto dentro de él. Nuestro generador gestiona esta precedencia automáticamente.
Muchos propietarios de sitios web optan por bloquear los rastreadores de entrenamiento de IA (GPTBot, CCBot, Claude-Web, etc.) para evitar que su contenido se use para entrenar grandes modelos de lenguaje. Nuestro generador incluye conmutadores específicos para estos rastreadores, para que puedas tomar decisiones informadas sobre el acceso de los bots de IA a tu contenido.
Crawl-Delay indica a los rastreadores de motores de búsqueda que esperen un número concreto de segundos entre peticiones sucesivas a tu servidor. Resulta útil en planes de hosting compartido o servidores con límites de velocidad. Bingbot y Yandex admiten Crawl-Delay; Google usa sus propios ajustes de velocidad de rastreo en Search Console.
Añade una directiva Sitemap al final de tu archivo robots.txt que apunte a la URL de tu sitemap XML. Nuestro generador incluye un campo específico para el sitemap y coloca automáticamente la directiva en el lugar correcto al final del archivo. Puedes incluir varias URLs de sitemap si tienes sitemaps separados para distintos tipos de contenido.
Sí: nuestra herramienta ofrece una vista previa en vivo para que veas exactamente cómo quedará tu robots.txt. Para pruebas avanzadas, usa el probador de robots.txt de Google Search Console o nuestra herramienta Validador de robots.txt para comprobar errores de sintaxis y problemas de buenas prácticas antes de desplegarlo en producción.