Robots.txt-Generator
Erstellen, prüfen und laden Sie robots.txt-Dateien mit unserem kostenlosen Online-Generator herunter. Konfigurieren Sie User-Agent-Regeln, Allow/Disallow-Direktiven, Crawl-Delay-Einstellungen, Sitemap-URLs und KI-Bot-Steuerung über eine intuitive Checklisten-Oberfläche - ohne manuelles Bearbeiten.
Build a robots.txt file with rules for search engines and AI crawlers. Toggle crawlers, configure allow/disallow paths, and add global directives - all with explanations for every option. The generated robots.txt is ready to copy or download.
Used to generate the sitemap URL. Does not leave your browser.
Search Engines & AI Crawlers
6 of 13 activeGoogle's main web crawler for search indexing.
Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training.
OpenAI's web crawler used to train ChatGPT and GPT models.
Anthropic's web crawler used to train Claude AI models.
Perplexity AI's crawler for their AI search engine.
Microsoft Bing's web crawler for search indexing.
Yahoo's web crawler for search results.
DuckDuckGo's privacy-focused search crawler.
Baidu's Chinese search engine crawler.
Yandex's Russian search engine crawler.
Facebook's crawler for link previews and Open Graph data.
Twitter/X's crawler for link card previews.
Apple's web crawler for Siri and Spotlight suggestions.
Global Settings
Add your XML sitemap URL so crawlers can discover your content.
Add a global Crawl-delay directive (in seconds) to rate-limit all crawlers.
Yandex-specific directive specifying the canonical hostname.
Ignore URL parameters to prevent duplicate content issues.
Generated robots.txt(40 lines)
# robots.txt generated by Aback Tools # https://abacktools.com/tools/web/utilities/robots-txt-generator # Googlebot # Google's main web crawler for search indexing. User-agent: Googlebot Allow: /admin/login Disallow: /private/ Disallow: /tmp/ Disallow: /admin/ # Google-Extended # Controls Google's AI training crawler (Gemini, Bard). Disallow to opt out of AI training. User-agent: Google-Extended Disallow: / # GPTBot # OpenAI's web crawler used to train ChatGPT and GPT models. User-agent: GPTBot Disallow: / # ClaudeBot # Anthropic's web crawler used to train Claude AI models. User-agent: ClaudeBot Disallow: / # PerplexityBot # Perplexity AI's crawler for their AI search engine. User-agent: PerplexityBot Disallow: / # Bingbot # Microsoft Bing's web crawler for search indexing. User-agent: Bingbot Disallow: /private/ # Default rule - applies to all crawlers not listed above User-agent: * Disallow:
The robots.txt generator runs entirely in your browser. No data is ever sent to a server. Always verify your robots.txt with Google Search Console before deploying.
Leistungsstarke Funktionen, einfache Oberfläche
Alles, was Sie zum Erstellen, Verwalten und Exportieren von robots.txt-Dateien für jede Website brauchen.
- Sofortige robots.txt-Erstellung: bauen Sie in Sekunden eine vollständige robots.txt-Datei mit unserer intuitiven Checklisten-Oberfläche. Crawler auswählen, Direktiven festlegen und die Ausgabe prüfen - ohne manuelles Bearbeiten.
- Live-Syntaxvorschau: sehen Sie Ihre robots.txt in Echtzeit gerendert, während Sie Optionen konfigurieren. Das Live-Vorschaufenster zeigt die exakte Ausgabe, die Sie kopieren oder herunterladen können, ohne Ratespiele und Tippfehler.
- Integrierte SEO-Best-Practices: geführte Optionen für gängige SEO-Muster, einschließlich Sitemap-URL-Übermittlung, Crawl-Delay für höfliches Crawling und KI-Bot-Direktiven zur Steuerung des LLM-Crawler-Zugriffs.
- Kopieren & Herunterladen: Kopieren in die Zwischenablage mit einem Klick oder Download als .txt-Datei. Keine Anmeldung, keine Server-Uploads - alles läuft lokal in Ihrem Browser.
Wer braucht einen robots.txt-Generator?
Vom persönlichen Blog bis zum Unternehmens-SEO - wer eine Website verwaltet, profitiert von einer gut gestalteten robots.txt.
- Start einer neuen Website: erstellen Sie beim Start einer neuen Website eine passende robots.txt, um Suchmaschinen zu den richtigen Seiten zu leiten und Staging- oder private Bereiche aus dem Index zu halten.
- SEO-Audit und Optimierung: bauen Sie Ihre robots.txt während eines SEO-Audits neu auf, um häufige Probleme zu beheben, etwa das Blockieren wichtiger Ressourcen oder das Zulassen unerwünschter Crawler auf privaten Pfaden.
- E-Commerce- und Mitgliederseiten: verhindern Sie, dass Suchmaschinen Warenkorb-, Kassen-, Login- und Kontoseiten indexieren, während Produktseiten und Kategorien vollständig crawlbar bleiben.
- Blogs und Content-Publisher: konfigurieren Sie Crawl-Delay, um in Zeiten hohen Traffics höflich zu Servern zu sein, übermitteln Sie Sitemap-URLs und steuern Sie den Zugriff von KI-Trainings-Crawlern.
- Lernen und Bildung: Studierende und Lehrende, die SEO und Web-Crawling lernen, können robots.txt-Direktiven in einer sicheren, visuellen Umgebung ausprobieren.
- Agenturen und Kundenlieferungen: erstellen und exportieren Sie schnell saubere robots.txt-Dateien für mehrere Kundenseiten mit konsistenten Mustern für Sitemaps, Crawl-Delay und KI-Bot-Richtlinien.
Über den Robots.txt-Generator
Alles, was Sie über das Erstellen und Verwalten von robots.txt-Dateien für Ihre Website wissen müssen.
Häufig gestellte Fragen
Ein robots.txt-Generator ist ein Werkzeug, das Ihnen hilft, eine gültige robots.txt-Datei über eine intuitive Oberfläche zu erstellen, statt sie manuell zu schreiben. Unser robots.txt-Generator läuft vollständig in Ihrem Browser - Crawler auswählen, Direktiven festlegen, Crawl-Delay und Sitemaps konfigurieren und das Ergebnis kopieren oder herunterladen. Keine Anmeldung nötig.
Legen Sie Ihre robots.txt-Datei im Wurzelverzeichnis Ihrer Website ab, damit sie unter https://ihredomain.com/robots.txt erreichbar ist. Die meisten Hosting-Verwaltungsoberflächen (cPanel usw.) und CMS-Plattformen bieten einen Dateimanager, in dem Sie diese Datei hochladen oder bearbeiten können. Nachdem Sie Ihre robots.txt mit unserem Tool erstellt haben, laden Sie sie einfach herunter und legen Sie sie im Server-Wurzelverzeichnis ab.
Absolut. Die gesamte robots.txt-Erstellung erfolgt lokal in Ihrem Browser mit JavaScript. Ihre Einstellungen, Direktiven und Konfiguration werden niemals an einen Server gesendet, gespeichert oder protokolliert. Ihre Daten bleiben vollständig privat auf Ihrem Gerät.
Ja - unser robots.txt-Generator ist 100 % kostenlos, ohne Anmeldung, ohne Konto und ohne Nutzungsgrenzen. Erstellen Sie beliebig viele robots.txt-Dateien, völlig kostenlos für immer.
Disallow teilt Crawlern mit, dass sie auf einen angegebenen URL-Pfad nicht zugreifen dürfen. Allow überschreibt eine Disallow-Regel für einen spezifischeren Pfad. Beide folgen der Regel der längsten Übereinstimmung: der spezifischste Pfad gewinnt. Sie können zum Beispiel ein ganzes Verzeichnis sperren und dennoch eine bestimmte Datei darin erlauben. Unser Generator behandelt diese Rangfolge automatisch.
Viele Website-Betreiber entscheiden sich dafür, KI-Trainings-Crawler (GPTBot, CCBot, Claude-Web usw.) zu blockieren, damit ihre Inhalte nicht zum Trainieren großer Sprachmodelle verwendet werden. Unser Generator enthält eigene Schalter für diese Crawler, damit Sie fundierte Entscheidungen über den Zugriff von KI-Bots auf Ihre Inhalte treffen können.
Crawl-Delay weist Suchmaschinen-Crawler an, eine bestimmte Anzahl Sekunden zwischen aufeinanderfolgenden Anfragen an Ihren Server zu warten. Das ist nützlich bei Shared-Hosting-Tarifen oder Servern mit Ratenlimits. Bingbot und Yandex unterstützen Crawl-Delay; Google verwendet stattdessen eigene Crawl-Rate-Einstellungen in der Search Console.
Fügen Sie am Ende Ihrer robots.txt-Datei eine Sitemap-Direktive hinzu, die auf die URL Ihrer XML-Sitemap verweist. Unser Generator enthält ein eigenes Sitemap-Eingabefeld und platziert die Direktive automatisch korrekt am Dateiende. Sie können mehrere Sitemap-URLs angeben, wenn Sie separate Sitemaps für verschiedene Inhaltstypen haben.
Ja - unser Tool bietet eine Live-Vorschau, damit Sie genau sehen, wie Ihre robots.txt aussehen wird. Für fortgeschrittene Tests nutzen Sie den robots.txt-Tester der Google Search Console oder unser Tool Robots.txt-Validator, um Syntaxfehler und Best-Practice-Probleme vor dem Livegang zu prüfen.