
Was ist eine robots.txt?
Die robots.txt ist eine Textdatei im obersten Verzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht. Sie steuert das Crawlen, hält eine Seite aber nicht sicher aus den Suchergebnissen heraus und schützt keine Inhalte.
Wie ist eine robots.txt aufgebaut?
Eine robots.txt ist eine reine Textdatei aus Gruppen von Regeln. Jede Gruppe nennt in einer oder mehreren user-agent-Zeilen die Crawler, für die sie gilt, und darunter Regeln mit allow (erlauben) oder disallow (sperren). Crawler sind Programme, die Websites automatisch abrufen, zum Beispiel der Googlebot für die Google-Suche. Festgelegt ist das Verfahren im Robots Exclusion Protocol, das die IETF, das Gremium für Internetstandards, im September 2022 als RFC 9309 veröffentlicht hat.
- user-agent: der Name eines Crawlers, etwa Googlebot. Ein Sternchen steht für alle Crawler, die keine eigene Gruppe haben.
- disallow und allow: ein Pfad wie /intern/, den der Crawler nicht abrufen soll (disallow) oder abrufen darf (allow). Google beachtet bei Pfaden die Groß- und Kleinschreibung.
- sitemap: der Verweis auf die Sitemap, eine Datei mit den Adressen der Seiten, die Suchmaschinen finden sollen. Google verlangt hier die vollständige Adresse mit Protokoll und Domain.
Zwei Sonderzeichen machen Regeln flexibler: Das Sternchen steht für beliebig viele Zeichen, das Dollarzeichen für das Ende einer Adresse. Treffen mehrere Regeln auf eine Adresse zu, gilt die spezifischste, also die mit dem längsten Pfad. Sind zwei Regeln gleich spezifisch, wählt Google die weniger einschränkende allow-Regel. Ein Crawler folgt außerdem nur einer einzigen Gruppe: Gibt es eine eigene Gruppe für den Googlebot, ignoriert er die Regeln der Sternchen-Gruppe.
Was kann eine robots.txt und was nicht?
Eine robots.txt steuert, welche Bereiche Crawler auf einer Website abrufen, sie schützt aber keine Inhalte. Google beschreibt sie vor allem als Mittel, um den Verkehr von Crawlern zu lenken und die Website nicht mit Anfragen zu überlasten. Mit der Datei können Sie zum Beispiel unwichtige Bild-, Skript- oder Stildateien vom Crawlen ausnehmen oder verhindern, dass Bild-, Video- und Audiodateien in den Google-Suchergebnissen erscheinen.
Die Regeln sind laut RFC 9309 eine Bitte an Crawler, keine Zugriffsberechtigung und kein Ersatz für Sicherheitsmaßnahmen. Google weist darauf hin, dass sich manche Crawler womöglich nicht daran halten und Crawler die Regeln unterschiedlich auslegen können. Die Datei ist zudem öffentlich einsehbar; Webflow rät deshalb davon ab, sich beim Schutz sensibler Inhalte auf sie zu verlassen. Eine Seite aus der Google-Suche herauszuhalten, leistet die robots.txt laut Google ebenfalls nicht. Google nennt dafür die noindex-Anweisung, die der Abschnitt zur Abgrenzung erklärt, oder einen Passwortschutz der Seite.
Wie setzt man eine robots.txt auf einer Website um?
Sie legen die robots.txt als Textdatei im Zeichensatz UTF-8 mit genau diesem Namen in Kleinbuchstaben im obersten Verzeichnis Ihrer Domain ab, sodass sie unter ihre-domain.de/robots.txt erreichbar ist. Nutzen Sie ein Content-Management-System, also ein Programm zur Pflege von Website-Inhalten, müssen oder können Sie die Datei laut Google unter Umständen nicht direkt bearbeiten.
In Webflow tragen Sie die Regeln unter Site settings › SEO › Indexing ein. Die Regeln gelten erst, wenn Sie speichern und die Website veröffentlichen. Webflow fügt standardmäßig eine Zeile mit der Adresse der Sitemap ein, die sich per Schalter entfernen lässt. So gehen Sie vor:
- Festlegen, welche Pfade welche Crawler nicht abrufen sollen.
- Die Gruppen mit user-agent sowie den passenden allow- und disallow-Regeln formulieren.
- Prüfen, ob die Zeile mit der Sitemap vorhanden ist.
- Speichern, die Website veröffentlichen und die Datei im Browser aufrufen.
Wie prüft man eine robots.txt?
Sie prüfen eine robots.txt, indem Sie ihre-domain.de/robots.txt im Browser aufrufen und jede disallow-Regel mit den Adressen Ihrer wichtigen Seiten abgleichen. Achten Sie dabei auf diese Punkte aus der Spezifikation von Google:
- Erreichbarkeit: Antwortet der Server beim Abruf der Datei mit einem Fehler der 5xx-Reihe, stellt Google das Crawlen der Website in den ersten zwölf Stunden ein. Danach greift Google bis zu 30 Tage auf die zuletzt gültige Fassung zurück.
- Dateigröße: Google verarbeitet bis zu 500 Kibibyte (KiB) und ignoriert Inhalte, die danach folgen.
- Schreibweise: /Intern/ und /intern/ sind für Google verschiedene Pfade.
- Regelkonflikte: Eine allow-Regel mit längerem Pfad setzt sich für ihren Bereich gegen eine kürzere disallow-Regel durch.
Soll eine Seite per noindex aus der Suche verschwinden, testen Sie die Umsetzung laut Google mit dem URL-Prüftool der Google Search Console.
Welche Fehler sollte man vermeiden?
Vermeiden sollten Sie vor allem Regeln, die mehr sperren als geplant, und Anweisungen, die Google in der robots.txt nicht auswertet.
- Ganze Website gesperrt: Eine Gruppe für alle Crawler mit einem einzelnen Schrägstrich hinter disallow sperrt sämtliche Seiten.
- Wichtige Dateien gesperrt: Braucht der Google-Crawler Skript- oder Stildateien, um eine Seite zu verstehen, sollten Sie diese laut Google nicht sperren.
- noindex und Sperre kombiniert: Sperrt die robots.txt eine Seite, sieht Google deren noindex-Anweisung nicht. Die Seite kann dann weiter in den Suchergebnissen erscheinen, etwa wenn andere Seiten auf sie verlinken.
- Nicht unterstützte Felder: Eine noindex-Zeile in der robots.txt wertet Google nicht aus. Das gilt auch für das Feld crawl-delay, mit dem sich der Abstand zwischen zwei Abrufen festlegen lassen soll.
Welche Rolle spielt die robots.txt für KI-Suchsysteme?
Über die robots.txt steuern Sie auch, ob Google Ihre Inhalte für das Training künftiger Gemini-Modelle nutzen darf; dafür gibt es die Kennung Google-Extended (Stand November 2026). Laut Google hat Google-Extended keine eigene Kennung beim Abruf; gecrawlt wird mit den bestehenden Google-Crawlern. Eine Gruppe für Google-Extended regelt außerdem das Grounding: Dabei stützen die Gemini-Apps und Vertex AI, die KI-Plattform von Google Cloud, ihre Antworten auf Inhalte aus dem Google-Suchindex.
Für die Google-Suche stellt Google klar, dass Google-Extended weder die Aufnahme in die Suche beeinflusst noch ein Rankingsignal ist. Regeln für den Googlebot wirken dagegen auf die Google-Suche einschließlich aller Suchfunktionen. Für andere KI-Suchsysteme (ChatGPT, Claude, Gemini usw.) gilt die Dokumentation des jeweiligen Anbieters; der Glossareintrag zu Generative Engine Optimization nennt dazu ein Beispiel.

So könnte das aussehen: Eine Hausverwaltung betreibt ihre Website mit Webflow. Die Geschäftsführung möchte, dass die Seiten weiter in der Google-Suche erscheinen, die Texte aber nicht für das Training künftiger Gemini-Modelle genutzt werden. Für Eigentümerinnen und Eigentümer soll es außerdem einen Bereich mit Unterlagen zur Eigentümerversammlung geben.
Das Team würde unter Site settings › SEO › Indexing eine Gruppe mit der Kennung Google-Extended und einem Schrägstrich hinter disallow ergänzen. Die übrigen Einträge und die Sitemap-Zeile, die Webflow standardmäßig anlegt, blieben unverändert. Den Bereich für die Unterlagen würde das Team nicht über die robots.txt sperren, weil die Datei öffentlich einsehbar ist und keinen Zugriff verhindert. Diese Seiten bekämen stattdessen einen Passwortschutz.
Nach dem Speichern und Veröffentlichen würde das Team die Adresse mit /robots.txt im Browser aufrufen. Das Ergebnis wäre ein überprüfbarer Arbeitsstand: Die neue Gruppe steht in der Datei, und die Sitemap-Zeile ist vorhanden. Die Aufnahme in die Google-Suche bleibt laut Google von Google-Extended unberührt. Bis Google die neue Fassung liest, können in der Regel bis zu 24 Stunden vergehen.
Was unterscheidet die robots.txt von noindex?
Die robots.txt regelt, welche Adressen Crawler abrufen. Die noindex-Anweisung regelt, ob eine abgerufene Seite in den Suchindex aufgenommen wird; sie steht als Meta-Tag im HTML-Code der Seite oder als HTTP-Header X-Robots-Tag. Wer eine Seite aus der Google-Suche heraushalten will, setzt deshalb noindex und erlaubt dem Googlebot den Abruf. Wie sich die robots.txt von der llms.txt unterscheidet, erklärt der Glossareintrag zur llms.txt.
- Was regelt die Anweisung? Die robots.txt das Crawlen, noindex die Aufnahme in den Index.
- Wo steht sie? Die robots.txt als eine Datei im obersten Verzeichnis, noindex auf jeder betroffenen Seite oder im HTTP-Header, der auch für PDF-Dateien funktioniert.
- Hält sie eine Seite aus den Suchergebnissen? Die robots.txt nicht sicher, denn eine gesperrte Adresse kann ohne Beschreibung erscheinen, wenn andere Seiten auf sie verlinken. Die noindex-Anweisung verhindert die Aufnahme, sofern Google die Seite abrufen kann.
- Wofür eignet sich welche? Die robots.txt, um Crawler von unwichtigen Bereichen und Dateien fernzuhalten. Die noindex-Anweisung für Seiten, die erreichbar bleiben, aber nicht in der Suche erscheinen sollen.
Häufige Fragen
Braucht jede Website eine robots.txt?
Nein. Fehlt die Datei und meldet der Server einen Statuscode der 4xx-Reihe wie 404 (nicht gefunden), behandelt Google die Website so, als gäbe es keine Einschränkungen. Sinnvoll wird eine robots.txt, sobald Sie Bereiche vom Crawlen ausnehmen oder auf Ihre Sitemap verweisen möchten.
Wie schnell berücksichtigt Google eine geänderte robots.txt?
Google speichert den Inhalt einer robots.txt in der Regel bis zu 24 Stunden zwischen. Ist eine Aktualisierung nicht möglich, etwa wegen Zeitüberschreitungen oder Serverfehlern, kann Google die alte Fassung auch länger verwenden. Eine Änderung wirkt deshalb nicht unbedingt sofort.
Gilt eine robots.txt auch für Subdomains?
Nein. Eine robots.txt gilt laut Google nur für den Host, das Protokoll und den Port, unter dem sie liegt. Ein Shop unter shop.ihre-domain.de braucht also eine eigene Datei, und eine Datei, die nur per http erreichbar ist, gilt nicht für die https-Adressen.
Quellen
- IETF: RFC 9309 – Robots Exclusion Protocol (September 2022) (abgerufen am 17.11.2026)
- Google Search Central: Introduction to robots.txt (aktualisiert 10.12.2025) (abgerufen am 17.11.2026)
- Google Crawling Infrastructure: How Google interprets the robots.txt specification (aktualisiert 23.10.2026) (abgerufen am 17.11.2026)
- Google Search Central: Block Search indexing with noindex (aktualisiert 10.12.2025) (abgerufen am 17.11.2026)
- Google Crawling Infrastructure: List of Google’s common crawlers (aktualisiert 30.10.2026) (abgerufen am 17.11.2026)
- Webflow Help Center: Set robots.txt rules (abgerufen am 17.11.2026)

Im Erstgespräch klären wir, welcher Schritt Sie bei Google und in KI-Suchsystemen zuerst sichtbar macht.



Sie möchten, dass Ihr Unternehmen bei Google und in KI-Suchsystemen wie ChatGPT, Claude oder Gemini gefunden wird? Im Erstgespräch zeigen wir Ihnen, wo Ihre Website heute steht und was ihr dafür fehlt.
Erstgespräch buchenLieber schreibenWeitere Begriffe aus diesem Bereich

Was soll sich für Sie verändern?
Ob mehr Anfragen über Ihre Website oder mehr Aufträge mit demselben Team: Nach dem Erstgespräch wissen Sie, wo Sie ansetzen. Das Gespräch ist kostenlos und unverbindlich.



