Générateur de robots.txt
Créez, prévisualisez et téléchargez des fichiers robots.txt avec notre générateur en ligne gratuit. Configurez des règles user-agent, des directives Allow/Disallow, des paramètres de crawl-delay, des URLs de sitemap et des contrôles de bots d'IA via une interface de liste de contrôle intuitive - sans édition manuelle.
Build a robots.txt file with rules for search engines and AI crawlers. Toggle crawlers, configure allow/disallow paths, and add global directives - all with explanations for every option. The generated robots.txt is ready to copy or download.
Used to generate the sitemap URL. Does not leave your browser.
Search Engines & AI Crawlers
6 of 13 activeGoogle's main web crawler for search indexing.
Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training.
OpenAI's web crawler used to train ChatGPT and GPT models.
Anthropic's web crawler used to train Claude AI models.
Perplexity AI's crawler for their AI search engine.
Microsoft Bing's web crawler for search indexing.
Yahoo's web crawler for search results.
DuckDuckGo's privacy-focused search crawler.
Baidu's Chinese search engine crawler.
Yandex's Russian search engine crawler.
Facebook's crawler for link previews and Open Graph data.
Twitter/X's crawler for link card previews.
Apple's web crawler for Siri and Spotlight suggestions.
Global Settings
Add your XML sitemap URL so crawlers can discover your content.
Add a global Crawl-delay directive (in seconds) to rate-limit all crawlers.
Yandex-specific directive specifying the canonical hostname.
Ignore URL parameters to prevent duplicate content issues.
Generated robots.txt(40 lines)
# robots.txt generated by Aback Tools # https://abacktools.com/tools/web/utilities/robots-txt-generator # Googlebot # Google's main web crawler for search indexing. User-agent: Googlebot Allow: /admin/login Disallow: /private/ Disallow: /tmp/ Disallow: /admin/ # Google-Extended # Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training. User-agent: Google-Extended Disallow: / # GPTBot # OpenAI's web crawler used to train ChatGPT and GPT models. User-agent: GPTBot Disallow: / # ClaudeBot # Anthropic's web crawler used to train Claude AI models. User-agent: ClaudeBot Disallow: / # PerplexityBot # Perplexity AI's crawler for their AI search engine. User-agent: PerplexityBot Disallow: / # Bingbot # Microsoft Bing's web crawler for search indexing. User-agent: Bingbot Disallow: /private/ # Default rule - applies to all crawlers not listed above User-agent: * Disallow:
The robots.txt generator runs entirely in your browser. No data is ever sent to a server. Always verify your robots.txt with Google Search Console before deploying.
Des fonctionnalités puissantes, une interface simple
Tout ce dont vous avez besoin pour créer, gérer et exporter des fichiers robots.txt pour n'importe quel site web.
- Génération instantanée de robots.txt : construisez un fichier robots.txt complet en quelques secondes avec notre interface intuitive de liste de contrôle. Sélectionnez les crawlers, définissez les directives et prévisualisez le résultat - sans édition manuelle.
- Aperçu de la syntaxe en direct : voyez votre robots.txt se mettre à jour en temps réel pendant que vous configurez les options. Le panneau d'aperçu en direct affiche le résultat exact que vous pouvez copier ou télécharger, éliminant les approximations et les fautes de frappe.
- Bonnes pratiques SEO intégrées : des options guidées pour les schémas SEO courants, notamment la soumission d'URL de sitemap, le crawl-delay pour une exploration respectueuse et les directives de bots d'IA pour gérer l'accès des crawlers de LLM.
- Copier et télécharger : copie dans le presse-papiers en un clic ou téléchargement en fichier .txt. Sans inscription et sans envoi vers un serveur - tout s'exécute localement dans votre navigateur.
Qui a besoin d'un générateur de robots.txt ?
Du blog personnel au SEO d'entreprise - toute personne gérant un site web profite d'un robots.txt bien conçu.
- Lancement d'un nouveau site : générez un robots.txt approprié lors du lancement d'un site pour guider les moteurs de recherche vers les bonnes pages et garder les zones de préproduction ou privées hors de l'index.
- Audit et optimisation SEO : lors d'un audit SEO, reconstruisez votre robots.txt pour corriger des problèmes courants comme le blocage de ressources importantes ou l'autorisation de crawlers indésirables sur des chemins privés.
- Sites e-commerce et d'adhésion : empêchez les moteurs de recherche d'indexer les pages de panier, de paiement, de connexion et de compte tout en garantissant que les pages produits et catégories sont entièrement explorables.
- Blogs et éditeurs de contenu : configurez le crawl-delay pour rester courtois envers les serveurs en période de fort trafic, soumettez des URLs de sitemap et gérez l'accès des crawlers d'entraînement d'IA.
- Apprentissage et éducation : les étudiants et enseignants qui découvrent le SEO et l'exploration web peuvent expérimenter les directives robots.txt dans un environnement visuel et sûr.
- Agences et livrables clients : générez et exportez rapidement des fichiers robots.txt propres pour plusieurs sites clients avec des schémas cohérents pour les sitemaps, le crawl-delay et les politiques de bots d'IA.
À propos du générateur de robots.txt
Tout ce qu'il faut savoir pour créer et gérer des fichiers robots.txt pour votre site web.
Foire aux questions
Un générateur de robots.txt est un outil qui vous aide à créer un fichier robots.txt valide via une interface intuitive plutôt qu'en l'écrivant à la main. Notre générateur de robots.txt s'exécute entièrement dans votre navigateur - sélectionnez les crawlers, définissez les directives, configurez le crawl-delay et les sitemaps, puis copiez ou téléchargez le résultat. Sans inscription.
Placez votre fichier robots.txt dans le répertoire racine de votre site pour qu'il soit accessible à l'adresse https://votredomaine.com/robots.txt. La plupart des panneaux de contrôle d'hébergement (cPanel, etc.) et des plateformes CMS proposent un gestionnaire de fichiers où vous pouvez téléverser ou modifier ce fichier. Après avoir généré votre robots.txt avec notre outil, il suffit de le télécharger et de le placer à la racine de votre serveur.
Absolument. Toute la génération du robots.txt se fait localement dans votre navigateur avec JavaScript. Vos réglages, directives et configuration ne sont jamais envoyés à un serveur, stockés ou journalisés. Vos données restent totalement privées sur votre appareil.
Oui - notre générateur de robots.txt est 100 % gratuit, sans inscription, sans compte et sans limite d'utilisation. Générez autant de fichiers robots.txt que vous le souhaitez, totalement gratuitement et pour toujours.
Disallow indique aux crawlers qu'ils ne doivent pas accéder à un chemin d'URL spécifié. Allow écrase une règle Disallow pour un chemin plus spécifique. Les deux suivent la règle de la correspondance la plus longue : le chemin le plus spécifique l'emporte. Par exemple, vous pouvez bloquer un répertoire entier avec Disallow tout en autorisant un fichier précis avec Allow. Notre générateur gère automatiquement cette priorité.
De nombreux propriétaires de sites choisissent de bloquer les crawlers d'entraînement d'IA (GPTBot, CCBot, Claude-Web, etc.) pour éviter que leur contenu serve à entraîner de grands modèles de langage. Notre générateur inclut des bascules dédiées à ces crawlers afin que vous puissiez décider en connaissance de cause de l'accès des bots d'IA à votre contenu.
Crawl-Delay demande aux crawlers des moteurs de recherche d'attendre un nombre de secondes déterminé entre deux requêtes successives vers votre serveur. C'est utile pour les hébergements mutualisés ou les serveurs soumis à des limites de débit. Bingbot et Yandex prennent en charge Crawl-Delay ; Google utilise ses propres réglages de fréquence d'exploration dans Search Console.
Ajoutez une directive Sitemap en bas de votre fichier robots.txt pointant vers l'URL de votre sitemap XML. Notre générateur inclut un champ dédié au sitemap et place automatiquement la directive au bon endroit, à la fin du fichier. Vous pouvez inclure plusieurs URLs de sitemap si vous avez des sitemaps distincts pour différents types de contenus.
Oui - notre outil propose un aperçu en direct pour que vous voyiez exactement à quoi ressemblera votre robots.txt. Pour des tests avancés, utilisez le testeur robots.txt de Google Search Console ou notre outil Validateur de robots.txt afin de vérifier les erreurs de syntaxe et les problèmes de bonnes pratiques avant de déployer en production.