Wenn Sie KI-Training per robots.txt steuern möchten, sollen Sie künftig eine gemeinsame Präferenz für Google, Microsoft und OpenAI hinterlegen können. Die angekündigte Regel vereinfacht die Verwaltung, schützt Inhalte aber nicht automatisch vor jeder KI-Nutzung. Entscheidend bleiben die tatsächliche Unterstützung durch die Anbieter und deren unterschiedliche Auslegung.
Das Wichtigste in Kürze
- Google, Microsoft und OpenAI haben angekündigt, eine gemeinsame robots.txt-Regel für KI-Trainingspräferenzen zu berücksichtigen.
- Zum beschriebenen Berichtsstand unterstützt noch keiner der drei Anbieter die gemeinsame Regel.
- Google und Microsoft unterscheiden sich darin, welche Nutzungen ein gemeinsamer Ausschluss künftig erfasst.
- Unternehmen sollten bestehende Regeln dokumentieren und Änderungen an KI-Zugriffen sowie SEO-Messverfahren getrennt bewerten.
Wie lässt sich KI-Training per robots.txt steuern?
Die geplante Steuerung erfolgt über eine normale robots.txt-Gruppe mit dem Policy-Token __usage_ai-training und den Regeln Allow und Disallow. Damit sollen Websites eine gemeinsame Präferenz hinterlegen können, statt ausschließlich einzelne unternehmensbezogene Trainingsregeln zu pflegen.
Google, Microsoft und OpenAI kündigten ihre Unterstützung am 30. Oktober an. Grundlage ist ein Internet-Draft von Kevin Kelley bei Anthropic. Für die praktische Umsetzung zählt jedoch nicht allein die Ankündigung: Nach den öffentlich genannten Zeitplänen unterstützt zum beschriebenen Berichtsstand noch keiner der drei Anbieter diese Steuerung.
Eine gemeinsame Gruppe kann mehrere unternehmensbezogene Trainingsregeln erst ersetzen, wenn die jeweiligen Anbieter sie tatsächlich auswerten. Sie sollten bestehende Einstellungen deshalb nicht vorschnell entfernen. Dokumentieren Sie zunächst, welche Regeln Ihre Website bereits enthält und welche Nutzung Sie damit begrenzen möchten.
Die gemeinsame Schreibweise bedeutet außerdem noch keine einheitliche Wirkung. Ob eine Präferenz nur das Training oder auch andere Verwendungen berührt, hängt von den Vorgaben des jeweiligen Anbieters ab.
Warum wirkt dieselbe Regel bei Google und Microsoft unterschiedlich?
Google verknüpft die gemeinsame Präferenz mit Google-Extended, während Microsoft Training und Grounding über unterschiedliche Einstellungen behandeln will.
Google übernimmt die Präferenz unter einer Bedingung
Google plant, einen gemeinsamen Trainingsausschluss wie einen Ausschluss über Google-Extended zu behandeln, sofern die Website keine eigene Regel für Google-Extended definiert hat. Eine vorhandene Einstellung für Google-Extended ist damit ein wesentlicher Prüfpunkt.
Nach Googles Crawler-Dokumentation umfasst Google-Extended auch Grounding in Gemini Apps. Dabei geht es um die Nutzung von Inhalten zur Fundierung von Antworten. Die dokumentierten robots.txt-Kontrollen trennen Gemini-Training und Grounding in Gemini Apps nicht voneinander.
Für Ihre Entscheidung bedeutet das: Sie können die geplante gemeinsame Regel bei Google nicht ausschließlich als Aussage zum Training betrachten. Prüfen Sie zugleich, ob die damit verbundene Behandlung von Grounding Ihrer gewünschten Nutzungspolitik entspricht.
Microsoft kündigt eine gesonderte Grounding-Präferenz an
Microsoft will die gemeinsame Regel für Trainingszwecke nutzen und zusätzlich eine gesonderte AI-Grounding-Präferenz auf Seitenebene einführen. Training und Grounding sollen dort also getrennt steuerbar werden.
Zugleich will Microsoft NoArchive und NoCache nach dem 1. März 2027 nicht mehr als Präferenzen für Training oder Grounding behandeln. Wenn Sie diese Angaben bisher dafür verwenden, sollten Sie die Umstellung auf die neuen Präferenzen bis zu diesem Termin einplanen.
Für OpenAI nennt die vorliegende Zusammenfassung keine vergleichbar detaillierte Zuordnung weiterer Nutzungszwecke. Aus der gemeinsamen Ankündigung lässt sich deshalb keine vollständige Gleichbehandlung aller drei Anbieter ableiten.
Welche Entscheidungen sollten Sie vor einer Änderung treffen?
Sie sollten zuerst festlegen, welche Verwendung Ihrer Inhalte Sie erlauben möchten, und erst danach die passende technische Regel auswählen.
Der Wunsch, Inhalte nicht für Trainingszwecke bereitzustellen, beantwortet noch nicht jede Frage zur KI-Suche. Die angekündigten Unterschiede beim Grounding zeigen, weshalb eine pauschale Vorgabe wie „KI ausschließen“ für die technische Umsetzung zu ungenau bleibt.
- Erfassen Sie vorhandene robots.txt-Regeln für die einzelnen Anbieter.
- Prüfen Sie, ob Google-Extended bereits ausdrücklich definiert ist.
- Ermitteln Sie, ob NoArchive oder NoCache bisher Microsoft-Präferenzen ausdrücken sollen.
- Halten Sie die gewünschte Behandlung von Training und Grounding getrennt fest.
- Kontrollieren Sie vor einer Umstellung den veröffentlichten Unterstützungsstand jedes Anbieters.
Wenn eine Agentur Ihre Website betreut, geben Sie nicht nur den Auftrag, einen Eintrag zu ergänzen. Lassen Sie sich dokumentieren, welche bestehenden Regeln betroffen sind und welche Wirkung die Änderung nach den jeweiligen Anbieterangaben haben soll.
KI-Crawling gehört in Ihre technische SEO-Prüfung
Sie können die Prüfung von KI-Crawlern in Ihre bestehenden technischen SEO-Audits aufnehmen, müssen die Zugriffe und Regeln aber je Anbieter betrachten.
Googles John Mueller erklärte im Gespräch mit David Iwanow, dass KI-Systeme auf SEO aufbauen. Das Interview von Search Central Deep Dive Europe 2026 wurde am 29. Oktober veröffentlicht. Mueller erwartet insbesondere für technische SEO weiterhin Relevanz.
Er beschrieb unterschiedliche Zwecke beim Crawling, etwa Training oder die Beschaffung aktueller Inhalte. Für Ihre Prüfung folgt daraus: Eine allgemeine Aussage zur Erreichbarkeit Ihrer Website reicht nicht aus. Prüfen Sie für jeden Crawler gesondert, welche Zugriffe vorgesehen sind und welche robots.txt-Regeln gelten.
Auch bei Inhaltsformaten riet Mueller zu einer soliden Grundlage. Auf Listicles angesprochen, beschrieb er, wie erfolgreiche Taktiken häufig schlecht nachgeahmt werden, bis sich Algorithmen anpassen. Kurzfristige Formatentscheidungen ersetzen daher keine klare technische Steuerung.
Warum müssen Sie parallel Ihre SEO-Messdaten prüfen?
Die berichteten Änderungen zeigen, dass Messwerte durch Erfassungsprobleme oder neue Berechnungsverfahren schwanken können, ohne eine entsprechende Veränderung Ihrer Website zu belegen.
Ranking-Verluste können mit der Ergebniserfassung zusammenhängen
SE Ranking untersuchte 10.000 Google-US-Desktop-Keywords. In der am 3. November veröffentlichten Auswertung betrafen 84 Prozent der auffälligen Fälle sachfremde Ergebnisse zu einem einzelnen Suchwort. Von diesen Ergebnisblöcken begannen 96,5 Prozent ab Position 9.
Zusätzlich berichten Datenanbieter über Einschränkungen beim Auflösen von Google-goto-Links. Dadurch kann im Rankingbericht eine Weiterleitungsadresse statt der tatsächlichen Zielseite stehen. Prüfen Sie bei auffälligen Verlusten deshalb die gespeicherten URLs und vergleichen Sie Impressionen sowie Klicks derselben Suchanfrage in der Search Console.
PageSpeed-Laborwerte verwenden eine veränderte Simulation
PageSpeed Insights verwendet nun Lighthouse 13.6.0. Die Version verändert die Simulation der Ladeprozesse und kann dadurch andere Bewertungen erzeugen, obwohl Ihre Seite unverändert geblieben ist. JavaScript-intensive Websites können laut Googles Barry Pollard stärker betroffen sein.
Vergleichen Sie deshalb die Lighthouse-Versionen, bevor Sie einen höheren Wert als Optimierungserfolg ausweisen. Die Felddaten im Bericht stammen dagegen aus tatsächlicher Nutzung und nicht aus dem synthetischen Lighthouse-Test.
Suchanfragen und Website-Besuche sind unterschiedliche Größen
OpenAI beziffert ChatGPTs suchähnliche Anfragen auf ungefähr ein Fünftel des Google-Abfragevolumens. Gemeint sind Fragen, die ChatGPT ins Web führen. Die zugrunde liegende Google-Zahl, der Zeitraum und der Markt werden im Artikel nicht angegeben.
Referral-Daten messen dagegen Besuche auf Websites. Für Ihre Kanalplanung sollten Sie deshalb immer benennen, ob eine Kennzahl Suchaktivität oder tatsächlich vermittelten Traffic beschreibt.
Was das für Ihr Unternehmen bedeutet
Aus unserer Beratungsperspektive betrifft die angekündigte Steuerung besonders Unternehmen, die eigene Fachinhalte veröffentlichen und deren Verwendung durch KI-Anbieter bewusst festlegen möchten. Das gilt auch, wenn ein Dienstleister die Website betreut. Die konkrete Chance liegt in einer künftig einfacheren Verwaltung von Trainingspräferenzen. Eine neue gesetzliche Pflicht lässt sich aus der Ankündigung nicht ableiten.
In den nächsten Wochen sollten Sie Ihre bestehenden Regeln erfassen, Zuständigkeiten festlegen und die Anbieterankündigungen auf tatsächliche Unterstützung prüfen. Wenn Sie NoArchive oder NoCache für Microsoft verwenden, gehört die Umstellung vor dem 1. März 2027 in Ihre Planung. Dokumentieren Sie außerdem, ob Sie Training und Grounding unterschiedlich behandeln möchten.
Für Unternehmen in Deutschland und der EU ersetzt diese technische Entscheidung keine gesonderte rechtliche Bewertung. Die Quelle erlaubt keine Aussage darüber, ob Anforderungen aus DSGVO, BDSG, AI Act oder NIS2 erfüllt sind. Offen bleibt zudem eine betriebliche Abwägung, die die Quelle nicht untersucht: Welchen Nutzen oder Nachteil hätte weniger Grounding für die Sichtbarkeit Ihrer eigenen Inhalte?
Prüfen Sie als nächsten Schritt Ihre robots.txt sowie vorhandene Google-Extended-, NoArchive- und NoCache-Einstellungen. Halten Sie die gewünschte Nutzung und den Unterstützungsstand jedes Anbieters schriftlich fest, bevor Sie Regeln ersetzen.
Mehr zum Thema: alle Beiträge in der Rubrik SEO und Sichtbarkeit in Suchmaschinen und KI-Suche. Fragen zur Umsetzung in Ihrem Unternehmen beantworten wir gern: Nehmen Sie Kontakt auf.
FAQ
Die geplante Steuerung nutzt eine robots.txt-Gruppe mit dem Policy-Token __usage_ai-training sowie Allow- und Disallow-Regeln. Damit sollen Websites eine gemeinsame Präferenz für mehrere Anbieter festlegen können.
Zum beschriebenen Berichtsstand unterstützte noch keiner der drei Anbieter die gemeinsame Regel. Entfernen Sie bestehende Regeln daher nicht allein aufgrund der Ankündigung.
Sie kann mehrere Trainingsregeln erst ersetzen, wenn die jeweiligen Anbieter sie tatsächlich auswerten. Außerdem bedeutet die gemeinsame Schreibweise nicht, dass alle Anbieter dieselben Nutzungen erfassen.
Google plant, einen gemeinsamen Trainingsausschluss wie einen Ausschluss über Google-Extended zu behandeln, sofern keine eigene Google-Extended-Regel definiert ist. Google-Extended umfasst laut Googles Dokumentation auch Grounding in Gemini Apps.
Microsoft will die gemeinsame Regel für Trainingszwecke nutzen und zusätzlich eine gesonderte AI-Grounding-Präferenz auf Seitenebene einführen. NoArchive und NoCache sollen nach dem 1. März 2027 nicht mehr als Präferenzen für Training oder Grounding gelten.
OpenAI kündigte gemeinsam mit Google und Microsoft an, die gemeinsame Präferenz berücksichtigen zu wollen. Der Artikel nennt für OpenAI jedoch keine vergleichbar detaillierte Zuordnung von Trainings- und Grounding-Nutzungen.
Erfassen Sie zunächst die bestehenden Regeln und prüfen Sie insbesondere, ob Google-Extended, NoArchive oder NoCache bereits verwendet werden. Halten Sie außerdem fest, ob Sie Training und Grounding unterschiedlich behandeln möchten, und kontrollieren Sie den Unterstützungsstand der Anbieter.
Rankingberichte können durch sachfremde Ein-Wort-Ergebnisse oder nicht aufgelöste Weiterleitungs-URLs beeinflusst werden. PageSpeed-Laborwerte können sich durch eine geänderte Lighthouse-Simulation verändern, auch wenn die Seite unverändert geblieben ist.
