Sperren Sie KI-Crawler nicht pauschal und geben Sie sie nicht pauschal frei, sondern entscheiden Sie nach Nutzungszweck: Suchsichtbarkeit gezielt ermöglichen, Training separat bewerten. So gehen wir auch bei unseren Kunden vor. Bei OpenAI lässt sich beides sauber trennen, bei Google mit dem Token Google-Extended nicht vollständig.
Das Wichtigste in Kürze
- Entscheiden Sie nach Nutzungszweck: Training und Grounding (Heranziehen externer Informationen bei einer Antwort) sind unterschiedliche Entscheidungen.
- Bei OpenAI ist die Kombination „GPTBot sperren, OAI-SearchBot zulassen“ ausdrücklich dokumentiert.
- Google-Extended betrifft Training und bestimmte Grounding-Anwendungen. Googlebot sollten Sie nicht als Ersatz für eine Trainingssperre blockieren.
- Prüfen Sie nicht nur die Datei, sondern den tatsächlichen Zugriff, und messen Sie Zugang, Sichtbarkeit und Geschäftswirkung getrennt.
Was sollten Sie zulassen und was sperren?
Das hängt vom Geschäftsmodell ab. Für eine Unternehmens-, Shop- oder Reisewebsite, die über ihre Inhalte Kunden gewinnen will, empfehlen wir, suchorientierte Zugriffe grundsätzlich zu ermöglichen. Bei einem Verlag oder einem Anbieter lizenzierbarer Daten sollten Sie die Trainingsfreigabe deutlich restriktiver prüfen.
Die Frage dahinter ist immer dieselbe: Wozu sollen Ihre Inhalte genutzt werden dürfen? Wer Kunden über seine Website gewinnen will, hat ein Interesse daran, dass Suchsysteme seine Seiten finden und als Quelle verlinken können. Wer mit Inhalten oder Daten selbst Geld verdient, hat ein Interesse daran, die Nutzung für das Training fremder Modelle bewusst zu steuern. Beides sind Geschäftsentscheidungen, keine reinen Technikfragen.
Die folgende Tabelle zeigt, was die einzelnen Steuerungen tatsächlich betrifft und wie wir sie einordnen.
| Steuerung | Was sie tatsächlich betrifft | Empfehlung |
|---|---|---|
| GPTBot | Inhalte, die für das Training von OpenAI-Modellen verwendet werden können. | Bewusste Geschäftsentscheidung: sperren, wenn keine Trainingsnutzung gewünscht ist. Das ist unabhängig von der ChatGPT-Suche. |
| OAI-SearchBot | Aufnahme von Websites in die Suchantworten von ChatGPT. | Zulassen, wenn Auffindbarkeit und Quellenverlinkungen gewünscht sind. Eine Freigabe garantiert allerdings keine Nennung. |
| ChatGPT-User | Nutzerinitiierte Seitenabrufe, nicht automatisches Such-Crawling. | Nicht mit GPTBot gleichsetzen. OpenAI weist ausdrücklich darauf hin, dass robots.txt bei diesen nutzerinitiierten Abrufen möglicherweise nicht greift. |
| Google-Extended | Sowohl Training künftiger Gemini-Modelle als auch Grounding in Gemini Apps und bestimmten Vertex-AI-Funktionen. | Separat abwägen: Eine Sperre betrifft hier nicht nur Training, sondern auch diese Grounding-Nutzungen. |
| Googlebot | Google Search einschließlich der dortigen KI-Funktionen. | Nicht als Ersatz für eine Trainingssperre blockieren: Das würde die reguläre Google-Sichtbarkeit mit treffen. |
Verkaufen Sie eine Trainingsfreigabe intern nicht mit dem Versprechen, dadurch künftig häufiger empfohlen zu werden. Aus der dokumentierten Möglichkeit einer Trainingsnutzung folgt keine garantierte Markennennung und keine messbare Reichweite.
Worin unterscheiden sich Training und Grounding?
Training bedeutet, dass Inhalte zur Entwicklung späterer Modelle verwendet werden können. Grounding bedeutet, dass ein System bei der Beantwortung einer Anfrage externe Informationen als Grundlage heranzieht. Das sind unterschiedliche Nutzungen und damit unterschiedliche Entscheidungen über Inhalte und Sichtbarkeit.
OpenAI: die Trennung ist vorgesehen
Bei OpenAI ist die Trennung ausdrücklich vorgesehen: GPTBot sperren und OAI-SearchBot zulassen ist eine dokumentierte Kombination. Wer das Training nicht möchte, aber in ChatGPT-Suchantworten auftauchen will, kann beides in der robots.txt getrennt festlegen. Beachten Sie dabei, dass ChatGPT-User eine eigene Rolle hat: Das sind nutzerinitiierte Abrufe, und dort greift robots.txt möglicherweise nicht.
Google: die Falle liegt im Namen
Google-Extended ist kein eigenständiger HTTP-Crawler, sondern ein Steuerungstoken. Es umfasst Training und bestimmte Grounding-Anwendungen. Eine Sperre hat dagegen keinen Einfluss auf die Aufnahme oder das Ranking in Google Search. Auch AI Overviews und AI Mode werden nicht über dieses Token gesteuert.
Deshalb ist „Training sperren, Grounding erlauben“ für viele Marketingwebsites eine sinnvolle strategische Zielsetzung, aber keine Einstellung, die bei jedem Anbieter technisch verfügbar ist. Wer bei Google das Training ausschließen will, muss deshalb wissen, dass Google-Extended auch Grounding in Gemini Apps und bestimmten Vertex-AI-Funktionen umfasst, und dies bewusst abwägen.
Zur angekündigten gemeinsamen robots.txt-Regel __usage_ai-training von Google, Microsoft und OpenAI lesen Sie auch unseren Beitrag KI-Training per robots.txt steuern: So schützen Sie Inhalte.
Welcher robots.txt-Fehler wiegt am schwersten?
Am folgenreichsten ist aus unserer Sicht das falsche Ziel: eine kopierte „Alle KI-Bots sperren“-Liste, obwohl eigentlich nur das Training ausgeschlossen werden soll. Wer dabei OAI-SearchBot mitsperrt, entscheidet zugleich gegen die Darstellung in ChatGPT-Suchantworten. Reine Navigationslinks können laut OpenAI weiterhin erscheinen.
Ein typischer Auslöser ist eine kopierte Vorlage: Eine fertige Liste wirkt sicher, sperrt aber Zugriffe, die Sie eigentlich wollen. Prüfen Sie deshalb bei jeder übernommenen Regel, welchem Zweck der jeweilige Bot dient (siehe Tabelle oben) und ob Sie genau diese Nutzung ausschließen möchten.
Ein minimales Beispiel für die gezielte Trennung bei OpenAI
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Das ist nur ein Ausschnitt, keine vollständige Produktionskonfiguration. Bestehende Pfadbeschränkungen müssen erhalten beziehungsweise passend in die jeweiligen Gruppen übernommen werden.
Den tatsächlichen Zugriff prüfen
Prüfen Sie nicht nur die Datei, sondern den tatsächlichen Zugriff. OpenAI empfiehlt neben der robots.txt-Freigabe ausdrücklich, Anfragen aus den veröffentlichten IP-Bereichen zuzulassen. Eine Freigabe auf dem Papier reicht nicht, wenn die technische Zugriffskontrolle den Abruf verhindert.
robots.txt ist kein Zugriffsschutz
Für vertrauliche Inhalte ist die robots.txt kein Schutz. Dafür braucht es Authentifizierung.
Wie messen Sie, ob die Entscheidung etwas bringt?
Messen Sie drei Ebenen getrennt, denn Abrufe und Wirkung sind nicht dasselbe:
- Technischer Zugang: Kann der gewünschte Bot die relevanten Seiten erfolgreich abrufen?
- Sichtbarkeit: Werden die Seiten tatsächlich als Quellen oder Ergebnisse gezeigt?
- Geschäftswirkung: Entstehen daraus qualifizierte Besuche, Anfragen oder Buchungen?
Viele Bot-Abrufe belegen weder häufige Zitierungen noch zusätzlichen Umsatz. Ebenso garantiert eine technische Freigabe nicht, dass Inhalte ausgespielt werden. Google weist ausdrücklich darauf hin, dass selbst erfüllte technische Anforderungen keine Aufnahme oder Ausspielung garantieren.
Das passende Messkonzept
Wir empfehlen, jede Ebene mit einer eigenen Datenquelle zu belegen, damit Sie nicht von einer Ebene auf die nächste schließen.
| Ebene | Datenquelle |
|---|---|
| Technischer Zugang | Serverlogs |
| Sichtbarkeit | Sichtbarkeitsdaten zur Ausspielung |
| Geschäftlicher Nutzen | Analytics beziehungsweise CRM |
Betrachten Sie nicht nur Klickzahlen, sondern auch Verkäufe, Registrierungen und andere relevante Conversions. Diese breitere Bewertung empfiehlt auch Google für Besuche aus seinen KI-Sucherlebnissen.
Was das für Ihr Unternehmen bedeutet
Die Leitfrage lautet nicht „Sind wir offen für KI?“, sondern: Welche Nutzung erlauben wir, und an welchem konkreten Ergebnis bewerten wir diese Entscheidung? Daraus ergeben sich diese nächsten Schritte:
- Legen Sie fest, ob Ihre Inhalte vor allem Kunden gewinnen sollen oder ob sie lizenzierbare Daten sind. Danach richtet sich, wie restriktiv Sie das Training behandeln.
- Prüfen Sie Ihre robots.txt auf kopierte „Alle KI-Bots sperren“-Listen und stellen Sie sicher, dass Sie nicht unbeabsichtigt OAI-SearchBot oder Googlebot sperren.
- Übernehmen Sie bestehende Pfadbeschränkungen in die jeweiligen Gruppen, wenn Sie Regeln wie im Beispiel ergänzen.
- Kontrollieren Sie, ob Firewall oder Zugriffskontrolle die gewünschten Abrufe tatsächlich durchlassen, etwa aus den von OpenAI veröffentlichten IP-Bereichen.
- Prüfen Sie bei Verlagen oder Anbietern lizenzierbarer Daten die Trainingsfreigabe deutlich restriktiver als bei einer reinen Unternehmenswebsite.
- Richten Sie die Messung auf drei Ebenen ein: Serverlogs, Sichtbarkeitsdaten, Analytics oder CRM.
Wenn Sie dafür Unterstützung wünschen, finden Sie unser Vorgehen auf der Seite SEO-Optimierung.
Mehr zum Thema: alle Beiträge in der Rubrik SEO und Sichtbarkeit in Suchmaschinen und KI-Suche. Fragen zur Umsetzung in Ihrem Unternehmen beantworten wir gern: Nehmen Sie Kontakt auf.
FAQ
Nein, nicht pauschal. Entscheiden Sie nach Nutzungszweck: Suchsichtbarkeit gezielt ermöglichen, Training separat bewerten. Eine kopierte Liste, die alle KI-Bots sperrt, trifft oft das falsche Ziel.
Training bedeutet, dass Inhalte zur Entwicklung späterer Modelle verwendet werden können. Grounding bedeutet, dass ein System bei der Beantwortung einer Anfrage externe Informationen als Grundlage heranzieht.
Ja. GPTBot zu sperren und OAI-SearchBot zuzulassen ist eine ausdrücklich dokumentierte Kombination. Eine Freigabe garantiert allerdings keine Nennung in ChatGPT.
Google-Extended ist ein Steuerungstoken für Training und bestimmte Grounding-Anwendungen wie Gemini Apps. Die Sperre hat keinen Einfluss auf Aufnahme und Ranking in Google Search. AI Overviews und AI Mode werden nicht darüber gesteuert.
Das sollten Sie nicht tun. Googlebot betrifft Google Search einschließlich der dortigen KI-Funktionen, eine Sperre würde die reguläre Google-Sichtbarkeit mit treffen.
Nein. Die robots.txt ist kein Zugriffsschutz. Für vertrauliche Inhalte braucht es Authentifizierung.
Messen Sie drei Ebenen getrennt: technischen Zugang über Serverlogs, Sichtbarkeit über Sichtbarkeitsdaten und Geschäftswirkung über Analytics oder CRM. Bot-Abrufe allein belegen weder Zitierungen noch Umsatz.
