Warum es wichtig ist, was Google von deiner Website sehen darf
Google findet und zeigt Inhalte, die öffentlich zugänglich sind. Das ist gut, wenn du Reichweite willst. Es ist schlecht, wenn vertrauliche Daten, Testbereiche oder veraltete Seiten sichtbar werden. Die offizielle Google-Dokumentation erklärt klar, wie du steuern kannst, was Google crawlt und indexiert. Ziel ist es, dass nur passende Inhalte in den Suchergebnissen erscheinen. Dazu gibt es drei zentrale Werkzeuge: noindex, robots.txt und Passwortschutz. Zusätzlich helfen HTTP-Statuscodes wie 404 oder 410 und das Entfernen-Tool in der Search Console. Jedes Werkzeug hat einen klaren Zweck und Grenzen. Wer sie versteht, vermeidet Fehler und spart Zeit.
Die wichtigsten Punkte auf einen Blick
- noindex verhindert die Indexierung einer Seite zuverlässig.
- robots.txt steuert das Crawling, verhindert aber nicht sicher die Indexierung.
- Passwortschutz hält private Inhalte wirklich von Google fern.
- 404 oder 410 signalisieren: Diese Seite gibt es nicht mehr. Google entfernt sie nach erneuter Überprüfung.
- Das Entfernen-Tool blendet Inhalte vorübergehend aus. Für eine dauerhafte Lösung brauchst du noindex oder 404/410.
- Blockiere keine sensiblen Daten nur per robots.txt. Das ist nicht sicher.
- Damit noindex wirkt, muss Google die Seite crawlen dürfen. Sperre sie nicht gleichzeitig in der robots.txt.
- Für nicht-HTML-Dateien kannst du noindex per HTTP-Header (X-Robots-Tag) setzen.
Was möchtest du in der Google Suche teilen?
Öffentliche Inhalte
Öffentliche Seiten dürfen Google sehen. Du musst nichts weiter tun. Google crawlt die Seiten, wenn sie erreichbar sind. Die Inhalte können in den Suchergebnissen erscheinen.
Private, interne oder temporäre Inhalte
Manche Inhalte sollen nicht in der Suche auftauchen. Dazu zählen interne Bereiche, Testumgebungen, Staging-Server oder alte Inhalte. In diesen Fällen brauchst du klare Regeln. Die folgenden Methoden helfen dir, das richtig umzusetzen.
noindex: So verhinderst du die Indexierung zuverlässig
Wie noindex funktioniert
noindex sagt Google klar: Diese URL soll nicht in den Suchergebnissen erscheinen. Du setzt noindex auf zwei Arten:
- Als Meta-Tag im HTML-Head der Seite.
- Als HTTP-Header (X-Robots-Tag), zum Beispiel für PDFs oder andere Dateien.
Wenn Google die Seite mit noindex crawlt, entfernt Google sie aus dem Index oder nimmt sie gar nicht erst auf.
Wann du noindex verwenden solltest
– Wenn eine Seite öffentlich abrufbar ist, aber nicht in der Suche erscheinen soll.
– Wenn du Inhalte dauerhaft aus den Ergebnissen fernhalten willst, ohne sie zu löschen.
– Wenn du eine bereits indexierte Seite aus den Ergebnissen nehmen willst.
Wichtige Regeln für noindex
- Die Seite muss crawlbar sein. Wenn du sie in der robots.txt blockierst, kann Google das noindex nicht sehen.
- Die Entfernung erfolgt, nachdem Google die Seite erneut crawlt. Das braucht Zeit.
- Nutze für nicht-HTML-Inhalte den X-Robots-Tag im HTTP-Header.
robots.txt: Crawling steuern, nicht Inhalte verstecken
Was robots.txt leistet
Mit der Datei robots.txt erlaubst oder verbietest du Googlebot das Crawling bestimmter Bereiche. So kannst du das Crawling-Volumen steuern. Das hilft, wenn du Serverressourcen schonen willst oder wenn bestimmte Verzeichnisse nicht gecrawlt werden sollen.
Was robots.txt nicht leistet
robots.txt verhindert nicht sicher die Indexierung. Eine URL kann in den Suchergebnissen erscheinen, auch wenn Google die Seite nicht crawlen durfte. Das passiert, wenn es externe Links auf diese URL gibt. In diesem Fall zeigt Google nur die URL ohne Beschreibung. Wenn du sicher sein willst, dass eine Seite nicht erscheint, nutze noindex oder Passwortschutz.
Wofür du robots.txt sinnvoll nutzt
– Für das gezielte Steuern des Crawlings.
– Für Bereiche, deren Inhalte nicht relevant sind, aber keine sensiblen Daten enthalten.
– Nicht für vertrauliche oder private Daten.
Passwortschutz: Private Inhalte bleiben privat
Wie Passwortschutz wirkt
Wenn ein Bereich nur nach Anmeldung erreichbar ist, sieht Google die Inhalte nicht. Damit erscheinen geschützte Seiten nicht in den Suchergebnissen. Das ist der richtige Weg für interne Bereiche, Staging-Umgebungen und vertrauliche Daten.
Wann Passwortschutz die beste Wahl ist
– Wenn Inhalte nicht öffentlich sein sollen.
– Wenn du sicherstellen willst, dass niemand über die Suche darauf zugreift.
– Wenn du Test- und Entwicklungsumgebungen vor der Indexierung schützen willst.
Seiten dauerhaft entfernen: 404 und 410 richtig einsetzen
Was 404 und 410 bedeuten
– 404: Seite nicht gefunden.
– 410: Seite dauerhaft entfernt.
Beide Statuscodes sagen Google, dass die URL nicht existiert. Google entfernt solche URLs aus dem Index, wenn der Bot sie erneut überprüft. 410 macht noch deutlicher, dass die Entfernung dauerhaft ist.
Wann 404/410 sinnvoll sind
– Wenn eine Seite gelöscht wurde und nicht zurückkommt.
– Wenn veraltete Inhalte nicht mehr angeboten werden sollen.
– Wenn du aufräumst und alte URLs sauber entfernen willst.
Vorübergehend aus der Google Suche ausblenden
Entfernen-Tool in der Search Console
Manchmal muss eine URL schnell aus den Suchergebnissen verschwinden. Dafür gibt es das Entfernen-Tool in der Google Search Console. Es blendet eine URL vorübergehend aus. Das ist nützlich, wenn du sofort handeln musst. Für eine dauerhafte Entfernung brauchst du zusätzlich eine technische Maßnahme, zum Beispiel noindex oder 404/410. Ansonsten kann die URL nach der Frist wieder erscheinen.
Wann das Tool hilft
– Bei dringenden Fällen.
– Wenn Inhalte kurzfristig nicht sichtbar sein sollen.
– Als Ergänzung zu einer dauerhaften Lösung.
Bilder und andere Dateien steuern
Indexierung von Dateien verhindern
Nicht alle Inhalte sind HTML-Seiten. Es gibt PDFs, Bilder oder andere Dateien. Du kannst die Indexierung solcher Dateien per HTTP-Header steuern. Setze dafür den X-Robots-Tag mit noindex. So teilst du Google mit, dass die Datei nicht in der Suche erscheinen soll.
Crawling von Dateien begrenzen
Wenn du das Crawling bestimmter Dateien oder Verzeichnisse steuern willst, kannst du das über robots.txt tun. Denke daran: Das steuert das Crawling, nicht die Indexierung. Für ein sicheres Ausschließen nutze zusätzlich noindex über den Header, sofern möglich.
Die richtige Methode für dein Ziel auswählen
Wenn Inhalte öffentlich sein sollen
Dann brauchst du keine Einschränkungen. Achte nur darauf, dass die Seiten erreichbar sind. Google kann sie dann crawlen und indexieren.
Wenn Inhalte nicht in der Suche erscheinen sollen
Nutze noindex. Sorge dafür, dass Google die Seite crawlen kann und das noindex sieht. Entferne parallel interne Links auf diese Seite, wenn sie nicht mehr relevant ist.
Wenn Inhalte vertraulich sind
Setze Passwortschutz. So sind sie für Googlebot nicht zugänglich. Verlasse dich hier nicht auf robots.txt.
Wenn Inhalte gelöscht wurden
Gib 404 oder 410 zurück. Google entfernt die URL, nachdem sie erneut gecrawlt wurde.
Wenn du schnelle, temporäre Ausblendung brauchst
Nutze das Entfernen-Tool der Search Console. Ergänze es durch noindex oder 404/410, um die Entfernung dauerhaft zu machen.
Häufige Fehler und wie du sie vermeidest
noindex in Kombination mit robots.txt-Blockade
Wenn du eine Seite in der robots.txt blockierst, kann Google das noindex auf der Seite nicht sehen. Ergebnis: Die Seite kann weiterhin in den Suchergebnissen als bloße URL auftauchen. Lösung: Erlaube das Crawling, setze noindex, und warte auf den erneuten Crawl.
Vertrauliche Daten nur per robots.txt verstecken
robots.txt ist kein Schutz. URLs können dennoch in den Ergebnissen erscheinen. Nutze Passwortschutz oder sorge dafür, dass die Inhalte gar nicht öffentlich erreichbar sind.
Nur das Entfernen-Tool verwenden
Das Tool blendet Inhalte nur vorübergehend aus. Für eine dauerhafte Lösung brauchst du noindex oder 404/410. Sonst tauchen die Inhalte wieder auf.
Gelöschte Inhalte ohne korrekten Statuscode
Wenn eine gelöschte URL weiterhin 200 (OK) liefert, bleibt sie in der Suche. Stelle sicher, dass 404 oder 410 zurückgegeben wird.
Praxisorientierte Anwendung der Methoden
Öffentliche Website mit einzelnen auszuschließenden Seiten
– Setze auf den auszuschließenden Seiten noindex.
– Keine Blockade in der robots.txt, damit Google das noindex sieht.
– Warte, bis Google die Seiten erneut crawlt.
Staging- oder Testumgebung
– Verwende Passwortschutz.
– So ist sichergestellt, dass Google keinen Zugriff hat.
– Entferne nach dem Go-Live den Schutz nur auf der produktiven Umgebung.
Alte, nicht mehr benötigte Inhalte
– Gib 404 oder 410 für diese URLs zurück.
– Entferne interne Links auf die alten Seiten.
– Optionale, schnelle Ausblendung: Entfernen-Tool nutzen, bis Google die Statuscodes verarbeitet hat.
Nicht-HTML-Dateien wie PDFs
– Verhindere die Indexierung per X-Robots-Tag: noindex im HTTP-Header.
– Steuere bei Bedarf das Crawling zusätzlich über robots.txt.
So gehst du strukturiert vor
1) Ziel klären
Soll die URL in der Suche erscheinen? Wenn ja, mache nichts. Wenn nein, wähle die passende Methode.
2) Methode wählen
– noindex für öffentliche, aber nicht indexierbare Seiten.
– Passwortschutz für private Inhalte.
– 404/410 für dauerhaft gelöschte Seiten.
– Entfernen-Tool für eine schnelle, temporäre Ausblendung.
– robots.txt nur, um Crawling zu steuern, nicht, um Inhalte zu verbergen.
3) Umsetzen und prüfen
Setze die gewählte Maßnahme korrekt um. Achte darauf, dass noindex nur wirkt, wenn die Seite crawlbar ist. Prüfe anschließend, ob Google die Änderungen nach erneutem Crawling übernommen hat.
4) Nachhalten
Gib Google Zeit zum Re-Crawl. Beobachte, ob die URLs wie gewünscht aus den Suchergebnissen verschwinden oder erscheinen. Korrigiere bei Bedarf die Einstellungen.
Fazit
Du kannst sehr genau steuern, was Google von deiner Website zeigt. Verwende noindex, wenn eine Seite nicht in der Suche erscheinen soll. Nutze Passwortschutz für alles, was privat bleiben muss. Setze 404 oder 410 für gelöschte Inhalte. Greife zum Entfernen-Tool, wenn du eine URL kurzfristig verstecken willst, und ergänze es um eine dauerhafte Maßnahme. Setze robots.txt ein, um das Crawling zu steuern, aber nicht, um Inhalte zu verbergen. Wenn du diese Rollen klar trennst, arbeitet Google mit deiner Website, nicht gegen sie. So bleiben relevante Seiten sichtbar, sensibler Inhalt geschützt und deine Präsenz in der Suche sauber und kontrolliert.
(Quelle der Informationen: https://developers.google.com/search/docs/crawling-indexing/control-what-you-share?hl=de)
Mehr SEO Informationen? Dann schaut gern mal in unserem Blog vorbei:
Klick hier.
FAQ
robots.txt verhindert, dass Googlebot eine Seite crawlt, verhindert aber nicht unbedingt, dass die URL in den Suchergebnissen erscheint. noindex weist Google an, eine Seite nicht in den Index aufzunehmen, funktioniert aber nur, wenn Google die Seite crawlen kann, um die Direktive zu lesen.
Die robots.txt-Datei gibt Crawlern Anweisungen, welche Bereiche einer Website sie nicht crawlen sollen. Wird eine Seite per robots.txt geblockt, kann Google die Seite nicht abrufen, sie kann aber trotzdem durch externe Links in den Suchergebnissen erscheinen.
Füge ein meta-robots-Tag mit noindex in den HTML-Head der Seite oder einen X-Robots-Tag im HTTP-Header hinzu. Stelle sicher, dass die Seite nicht durch robots.txt blockiert ist, damit Google die Direktive beim Crawlen sehen kann.
Den X-Robots-Tag setzt du im HTTP-Header und solltest ihn für nicht-HTML-Ressourcen wie PDFs oder Bilder verwenden. Er kann Indexierungsanweisungen wie noindex angeben, wenn ein meta-Tag nicht möglich ist.
Ja, Seiten hinter einer Anmeldung oder HTTP-Authentifizierung werden von Google nicht gecrawlt und daher nicht indexiert. Passwortschutz ist eine zuverlässige Methode, Inhalte vor der Indexierung zu verbergen.
Nutze das Removals-Tool in der Google Search Console für eine temporäre Entfernung aus den Suchergebnissen. Für eine dauerhafte Entfernung entferne die Seite, setze noindex oder schütze sie mit einem Passwort.
Ja, blockierte Seiten können weiterhin in den Suchergebnissen auftauchen, häufig ohne Snippet oder gecachte Kopie, weil Google die URL aus externen Links kennt. robots.txt blockiert das Crawlen, aber nicht zwangsläufig das Indexieren durch Hinweise von anderen Seiten.
Wenn du verhindern willst, dass Inhalte in der Suche erscheinen, verwende noindex oder Passwortschutz statt ausschließlich robots.txt. Achte darauf, dass noindex-Direktiven für Google erreichbar sind (nicht durch robots.txt blockiert) und nutze bei Nicht-HTML-Ressourcen den X-Robots-Tag.
