Google-Suche steuern: Crawling, Indexierung und Darstellung richtig kontrollieren

Wer eine Website betreibt, sollte genau steuern, was in der Google-Suche erscheint. Google bietet dafür klare Wege. Diese Wege betreffen drei Bereiche: Crawling, Indexierung und Darstellung in den Suchergebnissen. In diesem Beitrag erkläre ich die wichtigsten Möglichkeiten. Ich erkläre den Zweck, die Funktion und die praktische Anwendung der Optionen. Die Inhalte basieren auf der offiziellen Google-Dokumentation.

Warum Kontrolle über die Anzeige in der Google-Suche wichtig ist

Sie bestimmen, welche Inhalte öffentlich sind. Sie entscheiden, welche Inhalte Google crawlen darf. Sie steuern, welche Inhalte Google indexieren darf. Und Sie legen fest, wie ein Ergebnis in der Suche wirkt. So schützen Sie private Daten. So vermeiden Sie veraltete Inhalte in der Suche. So verbessern Sie die Nutzererfahrung in der Suche.

So arbeitet die Google-Suche: Crawling, Indexierung, Darstellung

Google findet Seiten durch Crawling. Google lädt dabei URLs und liest Inhalte. Danach entscheidet Google über die Indexierung. Nur indexierte Inhalte können in den Suchergebnissen erscheinen. Bei der Darstellung zeigt Google Titel, Snippet und Vorschauen. Sie können jeden Schritt gezielt beeinflussen.

Vor dem Start: Entscheiden, was öffentlich sein soll

Prüfen Sie Inhalte, bevor Sie sie live stellen. Fragen Sie sich: Soll diese Seite in der Google-Suche erscheinen? Wenn nein, sperren Sie den Zugriff oder verbieten die Indexierung. Verlassen Sie sich nicht auf Zufall oder spätere Korrekturen. Treffen Sie eine klare Einstellung pro Seite oder Datei.

• Private Inhalte gehören hinter eine Anmeldung.
• Test- oder Staging-Systeme sollten nicht öffentlich zugänglich sein.
• Veraltete oder sensible Inhalte sollten nicht indexiert sein.
• Nur freigegebene und aktuelle Inhalte sollten in die Suche.

Crawling steuern mit robots.txt

Sie können das Crawling durch die Datei robots.txt steuern. Diese Datei liegt im Stammverzeichnis Ihrer Domain. Sie erteilt Anweisungen an Crawler wie Googlebot. Sie kann das Laden bestimmter Bereiche verhindern. So schonen Sie Server-Ressourcen. So halten Sie nicht relevante Bereiche vom Crawling fern.

Wann robots.txt sinnvoll ist

• Wenn Google bestimmte Pfade nicht crawlen soll (zum Beispiel /intern/ oder /tmp/).
• Wenn Sie Ressourcen vom Crawling ausschließen wollen (zum Beispiel Filter-Parameter).
• Wenn Sie das Crawling von Dateien steuern möchten (zum Beispiel bestimmte Dateitypen).
• Wenn Sie Crawler-Verkehr begrenzen wollen.

Sie können Regeln allgemein für alle Crawler setzen oder gezielt für Googlebot. Die robots.txt stoppt das Laden der gesperrten URLs. Sie wirkt schnell und großflächig.

Grenzen von robots.txt

Wichtig: robots.txt verhindert nicht automatisch die Indexierung. Google kann eine URL auch ohne Crawling indexieren, wenn es Hinweise von anderen Seiten gibt. Dann erscheint die URL ohne Snippet in den Ergebnissen. Deshalb ist robots.txt kein Schutz für private oder sensible Daten. Nutzen Sie robots.txt nicht, um Inhalte geheim zu halten. Verwenden Sie dafür Zugangsschutz oder ein klares Indexierungsverbot.

Indexierung steuern mit Robots-Meta und X-Robots-Tag

Die Indexierung steuern Sie mit Robots-Meta-Tags auf HTML-Seiten oder mit dem HTTP-Header X-Robots-Tag. Damit können Sie Google das Indexieren verbieten. Diese Methode ist zuverlässig, wenn Google die Seite oder Datei abrufen darf.

noindex richtig einsetzen

• Setzen Sie das Meta-Tag robots mit dem Wert noindex im HTML-Head einer Seite.
• Alternativ senden Sie für nicht-HTML-Dateien den HTTP-Header X-Robots-Tag: noindex.
• Stellen Sie sicher, dass Google die URL abrufen darf. Ein noindex wirkt nur, wenn Google die Anweisung sehen kann.
• Blockieren Sie eine noindex-Seite nicht in der robots.txt. Sonst sieht Google das noindex nicht.

Mit noindex schließen Sie Seiten sicher von der Google-Suche aus. Die URL kann dann nicht in den Suchergebnissen erscheinen.

Weitere Direktiven für Indexierung und Vorschau

Neben noindex gibt es weitere Robots-Direktiven. Sie steuern das Verhalten bei Indexierung, Linkverfolgung und Darstellung. Sie können diese Direktiven als Meta-Tag oder als X-Robots-Tag verwenden.

• nofollow: Google soll Links auf der Seite nicht folgen.
• noarchive: Google soll keine zwischengespeicherte Version anzeigen.
• nosnippet: Google soll kein Textsnippet anzeigen.
• max-snippet:[Zahl]: Google soll nur ein Snippet bis zur Zeichenanzahl zeigen.
• max-image-preview:[none|standard|large]: Google soll Bildvorschau begrenzen.
• max-video-preview:[Zahl]: Google soll die Länge der Video-Vorschau begrenzen.
• noimageindex: Google soll Bilder der Seite nicht in der Bildersuche zeigen.

Wählen Sie die Direktive passend zum Ziel. Prüfen Sie nach der Umsetzung, ob Google die Anweisung erkannt hat.

Darstellung in der Suche steuern: Snippets und Vorschauen

Google zeigt in der Suche ein Snippet und Vorschauen für Bilder oder Videos. Sie können diese Darstellung begrenzen oder verhindern. Nutzen Sie dafür die oben genannten Direktiven. So behalten Sie die Kontrolle über Textausschnitte und über Multimedia-Vorschauen.

• Setzen Sie nosnippet, wenn gar kein Snippet erscheinen soll.
• Setzen Sie max-snippet, wenn nur ein kurzer Text erscheinen soll.
• Regeln Sie die Bildvorschau mit max-image-preview.
• Regeln Sie die Video-Vorschau mit max-video-preview.
• Verwenden Sie noarchive, wenn keine gespeicherte Version angezeigt werden soll.

Diese Einstellungen können die Klickrate beeinflussen. Wägen Sie daher zwischen Datenschutz, Urheberrechten und Sichtbarkeit ab.

Inhalte aus der Google-Suche entfernen

Manchmal sind Inhalte bereits in der Suche. Dann brauchen Sie saubere Schritte zur Entfernung. Google bietet dafür klare Wege. Sie können Inhalte vorübergehend ausblenden oder dauerhaft entfernen lassen. Wichtig ist die richtige Reihenfolge und die passende Methode.

Vorübergehend ausblenden

• Nutzen Sie das Entfernen-Tool in der Search Console, um eine URL schnell auszublenden.
• Diese Maßnahme ist zeitlich begrenzt. Sie beschleunigt die Ausblendung, ersetzt aber keine dauerhafte Lösung.
• Setzen Sie zusätzlich noindex oder entfernen Sie die Seite vom Server, damit die URL nicht zurückkehrt.

Dauerhaft entfernen

• Setzen Sie auf der Seite ein noindex und lassen Sie Google die Seite abrufen.
• Oder entfernen Sie die URL technisch (Rückgabe 404/410) oder schützen Sie sie per Login.
• Wenn Inhalte veraltet sind, aktualisieren oder löschen Sie die Quelle. So vermeiden Sie erneute Indexierung.

Beachten Sie: Eine Sperre per robots.txt reicht nicht, um eine URL aus dem Index zu entfernen. Nutzen Sie noindex oder entfernen Sie die Quelle. Prüfen Sie danach in der Search Console den Status.

Private Inhalte richtig schützen

Wenn Inhalte nicht öffentlich sein sollen, sichern Sie sie ab. Ein Passwortschutz ist sicherer als eine robots.txt-Regel. Eine robots.txt-Regel hält zwar den Crawler fern. Sie kann aber nicht verhindern, dass eine URL durch externe Links sichtbar wird. Deshalb gilt: Private Bereiche gehören hinter eine Authentifizierung. Nur so ist der Zugriff kontrolliert.

• Schützen Sie interne Bereiche per Login.
• Halten Sie Staging-Umgebungen nicht öffentlich erreichbar.
• Vermeiden Sie die Indexierung von Testdaten.
• Verwenden Sie noindex, wenn eine Seite zwar öffentlich, aber nicht in der Suche erscheinen soll.

Umgang mit Dateien und speziellen Inhalten

Nicht nur HTML-Seiten können in die Suche. Auch PDFs, Bilder oder Videos können erscheinen. Für diese Inhalte gelten die gleichen Grundsätze. Sie können das Crawling und die Indexierung steuern. Nutzen Sie dafür die passenden Header oder Regeln.

• Für PDFs und andere Dateien: Senden Sie X-Robots-Tag: noindex, wenn sie nicht in der Suche erscheinen sollen.
• Für Bilder: Nutzen Sie noimageindex oder steuern Sie das Crawling über robots.txt.
• Für Videos: Begrenzen Sie die Vorschau mit max-video-preview oder schließen Sie die Seite per noindex aus.

Auch hier gilt: Ein Indexierungsverbot wirkt nur, wenn Google den Inhalt abrufen kann. Blockieren Sie die Datei nicht per robots.txt, wenn Sie noindex nutzen.

Praktische Abläufe für saubere Kontrolle

Damit Ihre Einstellungen zuverlässig wirken, empfehlen sich klare Abläufe. So sparen Sie Zeit und vermeiden Fehler in der Suche.

• Legen Sie pro Seite fest, ob sie indexiert werden darf.
• Verwalten Sie robots.txt zentral. Dokumentieren Sie jede Regel.
• Nehmen Sie noindex in Ihre Publishing-Checkliste auf.
• Nutzen Sie die Search Console, um den Indexierungsstatus zu prüfen.
• Entfernen Sie veraltete Inhalte zügig oder setzen Sie noindex.
• Überprüfen Sie regelmäßig Snippets und Vorschauen in den Suchergebnissen.

Typische Szenarien und wie Sie handeln

Staging- oder Testseite erscheint in Google

• Schützen Sie die Umgebung per Login.
• Entfernen Sie alle Sperren in robots.txt, wenn Sie noindex setzen wollen.
• Setzen Sie noindex auf relevanten URLs und lassen Sie Google crawlen.
• Nehmen Sie eine vorübergehende Ausblendung in der Search Console vor, um die Anzeige zu beschleunigen.

Produktseite soll sichtbar sein, aber ohne lange Vorschau

• Erlauben Sie Indexierung (kein noindex).
• Setzen Sie max-snippet mit einer passenden Zeichenanzahl.
• Begrenzen Sie Bild- und Video-Vorschauen mit max-image-preview und max-video-preview.

PDF soll nicht in der Suche erscheinen

• Senden Sie für die PDF-URL den HTTP-Header X-Robots-Tag: noindex.
• Stellen Sie sicher, dass die PDF nicht per robots.txt blockiert ist, damit Google den Header sieht.

Interner Bereich ist versehentlich indexiert

• Stellen Sie den Zugangsschutz her.
• Setzen Sie noindex und lassen Sie die Seite crawlen, bis die Entfernung erfolgt.
• Nutzen Sie bei Bedarf das Entfernen-Tool für eine schnelle Ausblendung.

Wichtige Unterschiede auf einen Blick

• robots.txt: Steuert das Crawling. Verhindert nicht sicher die Indexierung.
• noindex (Meta oder Header): Verhindert die Indexierung. Wirkt nur, wenn Google die URL abrufen darf.
• Login/Passwort: Schützt private Inhalte. Verhindert Abruf und Indexierung zuverlässig.
• Snippet- und Vorschau-Direktiven: Steuern die Darstellung, nicht die Indexierung.

Fehler vermeiden

• Setzen Sie kein noindex auf Seiten, die in robots.txt blockiert sind. Sonst kann Google das noindex nicht sehen.
• Verlassen Sie sich nicht auf robots.txt, um sensible Inhalte geheim zu halten.
• Lassen Sie nicht mehrere widersprüchliche Regeln aktiv. Halten Sie die Steuerung pro Seite eindeutig.
• Vergessen Sie nicht, veraltete Inhalte an der Quelle zu löschen oder zu sperren.

Kontrolle prüfen und überwachen

Nach jeder Änderung sollten Sie prüfen, ob Google sie beachtet. Nutzen Sie die Search Console. Prüfen Sie, ob die Seiten indexiert sind oder nicht. Kontrollieren Sie, wie Snippets und Vorschauen aussehen. Führen Sie regelmäßige Checks durch. So bleiben Ihre Einstellungen wirksam.

Fazit

Sie können genau steuern, was Google crawlt, indexiert und anzeigt. Für das Crawling nutzen Sie robots.txt. Für die Indexierung setzen Sie noindex per Meta-Tag oder X-Robots-Tag. Für die Darstellung regeln Sie Snippets und Vorschauen mit passenden Direktiven. Private Inhalte schützen Sie per Login. Wenn bereits etwas in der Suche ist, entfernen Sie es mit noindex, mit technischen Statuscodes oder mit dem Entfernen-Tool. Arbeiten Sie mit klaren Regeln und prüfen Sie die Wirkung in der Search Console. So behalten Sie die Kontrolle über die Anzeige Ihrer Inhalte in der Google-Suche.

(Quelle der Informationen: https://developers.google.com/search/docs/crawling-indexing/control-what-you-share?hl=de)

Mehr SEO Informationen? Dann schaut gern mal in unserem Blog vorbei:
Klick hier.

FAQ