Robots.txt Generator
Die robots.txt ist die Datei im Stammverzeichnis Ihrer Domain, die Suchmaschinen und KI-Crawlern mitteilt, welche Seiten sie crawlen dürfen und welche nicht. Ab 2026 entscheidet sie auch, ob GPTBot, ClaudeBot und Google-Extended Ihre Inhalte für das Training nutzen dürfen. Unser Generator bietet 5 Voreinstellungen (Alle erlauben, Alle blockieren, KI-Crawler blockieren, WordPress, Benutzerdefiniert), individuelle Bot-Sperren für 24+ Crawler in 5 Kategorien, einen Pfadregel-Editor und einen Live-URL-Tester.
Live preview
User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: Slurp Allow: / User-agent: DuckDuckBot Allow: / User-agent: Baiduspider Allow: / User-agent: YandexBot Allow: / User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: anthropic-ai Allow: / User-agent: PerplexityBot Allow: / User-agent: CCBot Allow: / User-agent: Google-Extended Allow: / User-agent: OAI-SearchBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: FacebookBot Allow: / User-agent: Twitterbot Allow: / User-agent: LinkedInBot Allow: / User-agent: AhrefsBot Allow: / User-agent: SemrushBot Allow: / User-agent: MJ12bot Allow: / User-agent: DotBot Allow: /
So funktioniert es
Ein kurzer, klarer Ablauf — eingeben, ausführen, Ergebnis lesen.
Geben Sie Ihre Website-URL ein
Optional. Wir tragen die Sitemap-Zeile automatisch ein.
Wählen Sie eine Voreinstellung
Alle erlauben, Alle blockieren, KI-Crawler blockieren, WordPress oder Benutzerdefiniert.
Bot-Sichtbarkeit individuell steuern
Im Benutzerdefinierten Modus können Sie jede Kategorie erweitern und auf Erlauben oder Blockieren klicken.
Kopieren Sie die generierte robots.txt
Klicken Sie auf Kopieren. Laden Sie die Datei als robots.txt in das Stammverzeichnis Ihrer Domain hoch.
Was ist eine robots.txt-Datei, und warum entscheidet sie, wer Ihre Inhalte für das Training nutzt?
Die robots.txt ist eine reine Textdatei im Stammverzeichnis Ihrer Domain, die Crawlern mitteilt, welche Seiten sie abrufen dürfen. Ab 2026 steuert sie auch, ob GPTBot, ClaudeBot und Google-Extended Ihre Inhalte für das KI-Training verwenden dürfen. Laut Cloudflares Traffic-Daten von 2025-2026 gehören GPTBot und ClaudeBot zu den vier am häufigsten blockierten Crawlern im Web.
Was dieser Robots.txt-Generator abdeckt
Jede Bot-Kategorie, Voreinstellung und Validierungsprüfung in einem Workflow.
- Voreinstellung „Alle erlauben“ — Einzelner User-agent: * mit leerem Disallow:. Die sichere Standardeinstellung für Websites, die möchten, dass jeder Crawler auf jede Seite zugreifen kann.
- Voreinstellung „Alle blockieren“ — Einzelner User-agent: * mit Disallow: /. Nur für Staging-Umgebungen und Vorab-Versionen, die nicht indexiert werden sollen.
- Voreinstellung „KI-Crawler blockieren“ — Blockiert GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot und Bytespider mit einem Klick. Die 2026-Baseline für den Ausschluss vom Training.
- WordPress-Voreinstellung — Blockiert /wp-admin/, /wp-includes/, /wp-content/plugins/ und /readme.html. Verhindert, dass Suchmaschinen Ihre Admin-Pfade indexieren.
- Individuelle Bot-Sperren — 24+ Crawler in 5 Kategorien: klassische Suche (Googlebot, Bingbot), KI-Training (GPTBot, ClaudeBot), KI-Suche, SEO-Tools (AhrefsBot) und Social (Facebot).
- Pfadregel-Editor — Fügen Sie benutzerdefinierte Allow- und Disallow-Regeln pro User-agent hinzu. Nützlich, um /checkout/, /cart/ oder /private/ zu blockieren, während der Rest der Website crawlbar bleibt.
- Sitemap-Zeile — Füllt die Sitemap:-Direktive automatisch aus Ihrer Website-URL aus. Entscheidend, um neue Seiten schneller indexieren zu lassen, sobald Sie die Datei hochladen.
- Live-URL-Tester — Fügen Sie einen beliebigen Pfad Ihrer Website ein, sehen Sie, welche Bots ihn crawlen dürfen, und bestätigen Sie, dass die Regeln wie beabsichtigt funktionieren, bevor Sie die Datei hochladen.
Wer nutzt diesen Robots.txt-Generator?
Jeder, der den Crawler-Zugriff steuern muss – von unabhängigen Publishern bis zu Enterprise-SEO-Teams.
Sie starten nächste Woche eine neue Website und benötigen eine robots.txt, die /admin/ blockiert, den Blog erlaubt und Crawler auf die Sitemap verweist.
Wählen Sie die Benutzerdefinierte Voreinstellung, passen Sie die Pfadregeln an, validieren Sie mit dem Live-URL-Tester und laden Sie die Datei am Launch-Tag in Ihr Stammverzeichnis hoch.
Sie veröffentlichen 50 Artikel pro Monat und möchten sich vom KI-Training ausschließen, aber weiterhin in ChatGPT- und Perplexity-Suchergebnissen zitiert werden.
Wählen Sie die Voreinstellung „KI-Crawler blockieren“, laden Sie die Datei hoch und behalten Sie Ihre Inhalte in KI-Suchergebnissen, während Sie sie aus dem Trainingsdatensatz entfernen.
Sie verwalten 12 Kundenwebsites und benötigen eine einheitliche robots.txt-Richtlinie, die AhrefsBot und SemrushBot blockiert, um das Crawl-Budget der Kunden zu schonen.
Standardisieren Sie die Benutzerdefinierte Voreinstellung mit blockierten SEO-Tool-Bots, speichern Sie die Konfiguration pro Kunde und reduzieren Sie verschwendetes Crawling um 30-40 %.
Ihr Shop mit 5.000 Produkten hat indexierbare /cart/, /checkout/ und /account/-Seiten, die das Crawl-Budget belasten und die Rankings verwässern.
Fügen Sie im Pfad-Editor Disallow-Regeln für /cart/, /checkout/ und /account/ hinzu, laden Sie die Datei hoch und konzentrieren Sie das Crawling auf die wichtigsten Seiten.
Sie deployen eine Next.js- oder statische Website und benötigen eine robots.txt, die auf die automatisch generierte sitemap.xml zur Build-Zeit verweist.
Generieren Sie die Datei in unserem Tool, kopieren Sie sie in Ihr public/-Verzeichnis und lassen Sie Ihre Build-Pipeline sie bei jedem Deploy überschreiben.
Sie veröffentlichen drei Beiträge pro Woche auf einer privaten Website und möchten sich vom KI-Training ausschließen, ohne Ihren Google-Traffic zu verlieren.
Wählen Sie die Voreinstellung „KI-Crawler blockieren“, laden Sie die Datei in 2 Minuten hoch und behalten Sie Ihr Ranking in Google, während Sie Ihre Beiträge aus den Trainingsdaten entfernen.
Verwandte Glossarbegriffe
Sie möchten tiefer einsteigen? Diese Glossareinträge erklären die Konzepte hinter diesem Tool.
Häufig gestellte
Fragen
Alles Wissenswerte zu robots.txt, KI-Crawlern und der Zugriffssteuerung für Ihre Website 2026.
Eine reine Textdatei im Stammverzeichnis Ihrer Domain (z. B. https://ihrewebsite.de/robots.txt), die Suchmaschinen und KI-Crawlern mitteilt, welche Seiten sie crawlen dürfen. Sie ist Teil des Robots Exclusion Protocol (REP), standardisiert als RFC 9309. Googles Crawler laden und parsen sie, bevor sie eine andere URL anfragen. Die Datei muss im UTF-8-Format vorliegen und darf nicht größer als 500 KiB sein (Google ignoriert Inhalte darüber hinaus).
robots.txt ist eine Datei im Stammverzeichnis Ihrer Domain, die das Crawling steuert: ob ein Bot eine Seite überhaupt abrufen darf. Meta-Robots ist ein HTML-<meta name="robots">-Tag im <head> einer Seite, das die Indexierung und die Anzeige von Snippets steuert, typischerweise mit Werten wie noindex, nofollow, noarchive oder nosnippet. Ein häufiger Fehler ist die Verwendung von robots.txt, um eine Seite vor Google zu verstecken. Wenn jedoch eine andere Website auf diese Seite verlinkt, kann Google die URL trotzdem indexieren. Um die Indexierung tatsächlich zu verhindern, benötigen Sie ein noindex-Meta-Tag.
Fügen Sie einen User-agent:-Block für jeden KI-Trainings-Crawler hinzu, den Sie ausschließen möchten, gefolgt von Disallow: /. Die aktuellen 2026-Strings sind GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Googles Gemini-Trainings-Token), CCBot (Common Crawl), PerplexityBot und Bytespider (ByteDance). Laut Cloudflares Traffic-Daten von 2025-2026 gehören GPTBot und ClaudeBot zu den vier am häufigsten blockierten Crawlern. Die 2026-Nuance: Das Blockieren des Trainings-Bots blockiert nicht die Such-Bots, daher setzen die meisten Marketing-Websites auf eine Strategie „Training blockieren, Suche erlauben“.
Ja, absolut sicher. Das gesamte Tool läuft clientseitig in Ihrem Browser als JavaScript. Ihre Website-URL, Ihre Bot-Auswahlen, Ihre Pfadregeln und die endgültige robots.txt werden niemals an unsere Server gesendet, niemals protokolliert, niemals gespeichert und niemals zum Trainieren von KI verwendet. Überprüfen Sie dies selbst mit den Entwicklertools → Netzwerk: Keine ausgehenden Anfragen enthalten Ihre Eingaben.
Weitere kostenlose Tools
Kostenlos, ohne Anmeldung. Entwickelt vom Team hinter SERPView.
Google-SERP-Simulator-Tool
Simulieren Sie exakt, wie Ihre Seite in den Google-Suchergebnissen erscheint. Live-Vorschau der SERP mit Titel, URL und Beschreibung sowie Warnungen zu Zeichenanzahl und Pixelbreite vor der Veröffentlichung.
Meta-Beschreibung-Generator
Generieren Sie 5 KI-Meta-Beschreibungsvarianten aus Ihrem Seitentitel. Sehen Sie die Live-SERP-Vorschau und kopieren Sie die beste Variante in Ihr CMS.
Möchten Sie das automatisiert für Ihre gesamte Website?
SERPView überwacht Title-Tags, Meta-Beschreibungen und strukturierte Daten für jede URL — und benachrichtigt Sie, sobald etwas kaputtgeht oder sich verbessern lässt.
Kostenlos starten