Robots.txt-Generator

Ein 1994 geborener Standard, 2022 standardisiert

Das Robots Exclusion Protocol wurde im Februar 1994 von Martijn Koster entworfen, und fast drei Jahrzehnte später wurde es schließlich im September 2022 als RFC 9309 kodifiziert. 28 Jahre lang war es ein De-facto-Standard, dem alle zu folgen vereinbarten, ohne dass sich jemand über die Details einigte. Der RFC legte die Syntax fest (User-agent- / Disallow- / Allow-Zeilen), die Vorrangregeln, die Dateigrößenbegrenzung (Parser müssen mindestens 500 KiB akzeptieren) und den Umgang mit Fehlern (4xx → Crawler darf auf alles zugreifen; 5xx → Crawler muss vollständiges Verbot annehmen). Die meisten großen Suchmaschinen-Crawler verhielten sich schon vor dem RFC weitgehend gleich, aber kleine Unterschiede waren von Bedeutung.

Wo die Datei liegt

Eine robots.txt-Datei muss unter der exakten URL /robots.txt aus dem Stammverzeichnis Ihres Origins ausgeliefert werden (eine pro Schema + Host + Port). Unterverzeichnisse funktionieren nicht; /blog/robots.txt ist für Crawler nur ein 404. Jede Subdomain braucht eine eigene (www.example.com/robots.txt und blog.example.com/robots.txt sind unabhängige Dateien). Die Datei ist reiner Text, wird als text/plain ausgeliefert, in UTF-8 kodiert (die BOM ist erlaubt, von ihr wird aber dringend abgeraten).

Die Syntax auf einer Seite

# Comments start with #
User-agent: *               # Apply to all crawlers
Disallow: /admin/           # Block this directory
Disallow: /search           # Block search results
Allow: /admin/login         # Allow this path even within /admin/

User-agent: Googlebot       # Specific Googlebot rules
Disallow: /test/

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/news-sitemap.xml

Wichtige Verhaltensweisen:

• Gruppenstruktur. Eine „Gruppe“ beginnt mit einer oder mehreren User-agent:-Zeilen und setzt sich mit Allow:- / Disallow:-Regeln fort, bis das nächste User-agent: eine neue Gruppe beginnt.
• Spezifität gewinnt. Die spezifischste User-Agent-Gruppe gilt für einen gegebenen Crawler. Googlebot liest seine User-agent: Googlebot-Regeln und ignoriert die User-agent: *-Regeln vollständig.
• Ein leeres Disallow: bedeutet „alles erlauben“. Disallow: / bedeutet „alles blockieren“. Das Vorhandensein/Fehlen des Schrägstrichs ist entscheidend.
• Platzhalter. * passt auf jede Zeichenfolge; $ passt auf das URL-Ende. Disallow: /*.pdf$ blockiert alle PDFs. Offiziell sind dies Google-Erweiterungen, aber die meisten großen Crawler akzeptieren sie.
• Groß-/Kleinschreibung. User-Agent-Namen sind unabhängig von der Groß-/Kleinschreibung (Googlebot = googlebot). URL-Pfade in Regeln beachten die Groß-/Kleinschreibung (/Page ≠ /page) auf Dateisystemen, die zwischen Groß- und Kleinschreibung unterscheiden.

Was robots.txt NICHT tut

Das häufigste Missverständnis, und eines, das Google in seiner eigenen Dokumentation direkt anspricht: robots.txt verhindert das Crawlen, nicht die Indexierung. Wenn eine Seite von anderswo im Web verlinkt ist, kann Google die URL indexieren (und sie in den Suchergebnissen mit einem Platzhalter wie „Keine Informationen für diese Seite verfügbar“ anzeigen), obwohl es die Seite selbst nie gecrawlt hat. Um eine Seite wirklich aus den Suchergebnissen herauszuhalten, verwenden Sie einen <meta name="robots" content="noindex">-Tag auf der Seite selbst oder einen X-Robots-Tag: noindex-HTTP-Header. Der Crawler muss auf die Seite zugreifen dürfen, um die noindex-Anweisung zu sehen, was bedeutet, dass Sie eine Seite in robots.txt nicht per Disallow sperren sollten, wenn Sie ihr auch noindex hinzugefügt haben, weil der Crawler das noindex sonst nie sieht.

Andere Dinge, die robots.txt nicht tut:

• Sensible URLs verbergen. Die Datei ist öffentlich lesbar; jeder kann yoursite.com/robots.txt abrufen. Pfade wie /admin/ oder /internal-tools/ aufzulisten verrät der Welt, dass diese URLs existieren. Für echte Geheimhaltung verwenden Sie Authentifizierung; für „indexier es einfach nicht“ verwenden Sie noindex.
• Bösartige Crawler stoppen. Böswillige Akteure ignorieren robots.txt vollständig. Es ist eine Bitte an gut erzogene Crawler, keine Durchsetzung.
• Embed-Card-Crawler auf zuverlässige Weise blockieren. Facebooks facebookexternalhit, Twitters Twitterbot, LinkedIns LinkedInBot, Slack- und Discord-Bots lesen alle robots.txt, aber wenn Sie sie blockieren, rendern Ihre geteilten Links auf diesen Plattformen keine Vorschauen. Erlauben Sie sie ausdrücklich, wenn Sie Share-Cards möchten.

Wissenswerte User-Agents

Die Frage der KI-Crawler

Seit 2023 ist eine Welle von KI-Trainings-Crawlern aufgetaucht, und viele Websites haben robots.txt-Regeln hinzugefügt, um sich vom KI-Training abzumelden. Die wichtigsten, die man kennen sollte:

• GPTBot: OpenAIs Trainings-Crawler.
• ChatGPT-User: OpenAIs On-Demand-Crawler, wenn ChatGPT-Nutzer ihn bitten, eine URL abzurufen.
• OAI-SearchBot: OpenAIs Crawler für das Suchprodukt.
• Google-Extended: Googles separates Token für das KI-Training (Bard / Gemini), unabhängig vom Googlebot. Lässt Sie die Suche erlauben, aber das KI-Training blockieren.
• ClaudeBot / Claude-User / Claude-SearchBot: Anthropics verschiedene Crawler.
• PerplexityBot: Perplexity AI.
• CCBot: Common Crawl, der offene Datensatz, mit dem die meisten LLMs trainieren.
• Bytespider: ByteDance / TikTok.
• Applebot-Extended: Apple Intelligences separates Token, ähnlich wie Google-Extended.

Zwei wichtige Dinge, die man wissen sollte: (1) Die Abmeldung ist freiwillig, da nur Crawler betroffen sind, die robots.txt respektieren, und (2) die Grenze zwischen „Suche“ und „KI-Training“ verwischt schnell, sodass das Blockieren aller KI-Crawler auch beeinflussen kann, wie Ihr Inhalt in KI-zusammengefassten Suchergebnissen erscheint. Verwenden Sie die Voreinstellung „KI-Crawler blockieren“ oben als Ausgangspunkt und entscheiden Sie dann, welche Kompromisse für Ihre Website sinnvoll sind.

Crawl-Delay und warum Google es ignoriert

Die nicht standardisierte Crawl-delay:-Anweisung bittet Crawler, N Sekunden zwischen Anfragen an Ihren Server zu warten. Bing, Yandex und viele kleinere Crawler beachten sie. Google nicht. Googles Dokumentation stellt ausdrücklich fest, dass Googlebot Crawl-delay ignoriert. Die Search Console stellte früher eine manuelle Crawl-Rate-Einstellung bereit, aber Google hat sie Anfang 2024 für die meisten Websites abgekündigt und passt die Crawl-Rate jetzt automatisch anhand der Serverantwort an. Wenn Ihr Ziel ist, speziell den Googlebot zu verlangsamen, ist robots.txt das falsche Werkzeug.

Sitemap-Anweisung

Ihre Sitemap in robots.txt aufzulisten ist ein Hinweis für Crawler, wo sie Ihre URL-Liste finden. Verwenden Sie absolute URLs (vollständiges https://), eine pro Zeile. Sie können mehrere Sitemaps für Websites auflisten, die Inhalte in separate Sitemaps aufteilen (eine Haupt-Sitemap, eine News-Sitemap, eine Video-Sitemap, eine Bild-Sitemap). Die Sitemap-Anweisung ist formal nicht Teil des ursprünglichen robots.txt-Protokolls, aber jede große Suchmaschine liest sie.

Häufige Fehler

1. CSS- / JavaScript-Dateien per Disallow sperren. Google verwendet gerenderte Inhalte für das Ranking. Wenn Googlebot Ihre /css/ oder /js/ nicht abrufen kann, kann es Ihre Seiten nicht korrekt rendern, was dem SEO schadet. Blockieren Sie keine Ressourcenverzeichnisse.
2. Disallow mit noindex verwechseln. Disallow stoppt das Crawlen; die Seite kann über eingehende Links dennoch in der Suche erscheinen. Verwenden Sie noindex-Meta-Tags für die tatsächliche Indexierungssteuerung.
3. Private URLs auflisten. Alles in robots.txt ist öffentlich lesbar. Bewerben Sie nicht /admin/ oder /wp-admin/, wenn Sie nicht möchten, dass Angreifer von ihrer Existenz wissen; verwenden Sie stattdessen eine ordentliche Authentifizierung und verlassen Sie sich auf noindex.
4. Ein leeres Disallow:, wenn Sie Disallow: / meinten. Leer erlaubt alles; Disallow: / blockiert alles. Sie sind Gegensätze.
5. Versuchen, Embed-Crawler zu blockieren, und sich dann wundern, warum Share-Vorschauen nicht funktionieren. Wenn Sie facebookexternalhit per Disallow sperren, rendern Ihre geteilten Links keine Facebook-Cards. Erlauben Sie Social-Media-Bots ausdrücklich, wenn Sie Vorschauen möchten.
6. Vergessen, die Sitemap-Zeile hinzuzufügen. Sie ist kostenlos, nützlich, und die meisten Generatoren lassen sie weg.
7. Darauf vertrauen, dass Crawl-delay Google drosselt. Tut es nicht. Verwenden Sie die Search Console.
8. robots.txt verwenden, um nach IP / Region / Gerät zu blockieren. Das Protokoll kennt diese Konzepte nicht. Verwenden Sie stattdessen serverseitige Regeln.
9. Die Datei nicht testen. Google stellte den eigenständigen robots.txt-Tester im November 2023 ein und ersetzte ihn durch den robots.txt-Bericht in der Search Console; dieser Bericht meldet Syntaxfehler und zeigt den letzten Crawl. Prüfen Sie ihn (oder einen anderen quelloffenen robots.txt-Validator) immer vor dem Deployment.

Weitere häufig gestellte Fragen

Wohin genau lege ich die Datei?

Das Stammverzeichnis Ihrer Domain, erreichbar unter exakt https://yoursite.com/robots.txt. Auf den meisten Hosts bedeutet das, robots.txt in Ihr Stammverzeichnis public / htdocs / www zu legen. WordPress und viele CMS erzeugen dynamisch eine; prüfen Sie, ob Ihres das tut, bevor Sie eine statische Datei hinzufügen (die statische gewinnt, wenn beide existieren).

Brauche ich überhaupt eine robots.txt?

Technisch nein. Ohne eine gehen Crawler standardmäßig von „alles erlauben“ aus, was für die meisten öffentlichen Websites in Ordnung ist. Aber Sie möchten fast immer eine, um auf Ihre Sitemap zu verweisen, um offensichtliche Crawl-Fallen zu blockieren (Suchergebnisseiten, paginierte Archive, parametrische URLs) und zunehmend, um sich vom KI-Training abzumelden. Eine leere oder standardmäßig-erlaubende robots.txt ist immer noch nützlich als Ort für die Sitemap-Zeile.

Wie groß darf robots.txt sein?

RFC 9309 verlangt von Parsern, mindestens 500 KiB (~500.000 Byte) zu akzeptieren. Google erzwingt eine Grenze von 500 KiB und ignoriert alles darüber hinaus. Die überwiegende Mehrheit der robots.txt-Dateien liegt weit unter 1 KiB. Wenn Ihre sich der Grenze nähert, listen Sie wahrscheinlich zu viele spezifische URLs auf und sollten stattdessen Platzhaltermuster verwenden.

Was passiert, wenn meine robots.txt einen 500-Fehler zurückgibt?

Gemäß RFC 9309 muss ein Crawler, der robots.txt aufgrund eines Serverfehlers (5xx) nicht abrufen kann, ein vollständiges Verbot annehmen, was bedeutet, dass Google und andere konforme Crawler das Crawlen Ihrer Website vollständig einstellen, bis die Datei wieder erreichbar ist. Wenn Ihr robots.txt-Endpunkt ausfällt, sinkt Ihre Sichtbarkeit in der Suche mit ihm. Sorgen Sie dafür, dass sie verfügbar bleibt.

Was ist mit Crawl-delay für Google?

Google ignoriert Crawl-delay ausdrücklich. Die Anweisung funktioniert bei Bing, Yandex und den meisten anderen Crawlern. Die manuelle Crawl-Rate-Einstellung, die die Search Console früher bereitstellte, wurde Anfang 2024 für die meisten Websites abgekündigt; Google passt die Crawl-Rate jetzt automatisch danach an, wie Ihr Server antwortet. Crawl-delay in robots.txt zu setzen bricht nichts; es ändert nur das Verhalten des Googlebot nicht.

Sollte ich KI-Crawler blockieren?

Ein Kompromiss. GPTBot, Google-Extended, ClaudeBot usw. zu blockieren meldet Ihren Inhalt von den Trainingsdaten dieser Modelle ab, was die richtige Entscheidung ist, wenn Sie die Wiederverwendung Ihres Inhalts begrenzen möchten. Der Preis: Da KI-zusammengefasste Suchergebnisse häufiger werden, wird blockierter Inhalt möglicherweise auch seltener zitiert oder angezeigt. Viele Verlage blockieren KI-Trainings-Crawler, erlauben aber die KI-Such-Crawler (OAI-SearchBot usw.), um weiterhin zitierfähig zu bleiben. Die Voreinstellung „KI-Crawler blockieren“ verfolgt den maximalistischen Ansatz; passen Sie sie an Ihre Prioritäten an.