Ein Beitrag ist veröffentlicht, intern verlinkt und in der Sitemap enthalten. Trotzdem taucht er nicht in der Suche auf. In dieser Situation solltest du die Meta Robots prüfen, bevor du den Text umschreibst oder eine neue Indexierung anforderst. Eine einzige Anweisung wie noindex kann verhindern, dass die URL in Suchergebnissen erscheint, obwohl sie für Besucher normal erreichbar ist.
Die Kontrolle ist weder eine pauschale Freigabe aller Seiten noch eine Jagd nach möglichst vielen indexierten URLs. Manche Bereiche sollen bewusst ausgeschlossen bleiben. Entscheidend ist, ob die technische Anweisung zur Aufgabe der jeweiligen Seite passt. Dieser Ablauf hilft dir, einzelne URLs und wiederkehrende Vorlagen geordnet zu prüfen.
Was die Robots Angaben tatsächlich steuern
Ein Robots Meta Element steht im Kopfbereich einer HTML Seite. Sein Inhalt gibt kooperierenden Suchmaschinen Hinweise zur Indexierung und zur Darstellung. Die Dokumentation von Google Search Central nennt unter anderem noindex, nofollow, nosnippet und Begrenzungen für Vorschautexte. Fehlt eine einschränkende Anweisung, gelten bei Google grundsätzlich die normalen Möglichkeiten zur Indexierung und Darstellung.
Noindex fordert die Suchmaschine auf, die Ressource nicht in Suchergebnissen zu zeigen. Nofollow betrifft die Links auf der Seite. Beide Werte lösen also verschiedene Aufgaben. Nosnippet unterbindet bei Google die Textvorschau. Solche Angaben sind keine Zugriffssperre. Die Seite bleibt öffentlich erreichbar, wenn sie nicht zusätzlich geschützt wird.
Robots Angaben können außerdem als HTTP Antwortheader X-Robots-Tag ausgeliefert werden. Das ist besonders bei PDF Dateien, Bildern und anderen Ressourcen sinnvoll, die kein HTML Kopfelement besitzen. Die MDN Beschreibung zum X-Robots-Tag weist darauf hin, dass bei widersprüchlichen Regeln die restriktivere Angabe wirksam sein kann. Deshalb reicht ein Blick auf den sichtbaren Quelltext nicht immer aus.
Meta Robots prüfen, ohne robots.txt zu verwechseln
Die robots.txt steuert vor allem, welche Pfade ein Crawler abrufen darf. Meta Robots und X-Robots-Tag werden dagegen erst gelesen, wenn die Ressource abgerufen wird. Blockierst du eine URL in der robots.txt, kann der Crawler ein dort gesetztes noindex möglicherweise nicht erkennen. Google beschreibt dieses Zusammenspiel ausdrücklich in seiner Robots Dokumentation.
Prüfe deshalb nicht beide Ebenen mit derselben Frage. Möchtest du einen technischen Bereich vom Crawling ausschließen, untersuchst du die robots.txt. Soll eine öffentlich erreichbare Seite nicht in den Suchergebnissen erscheinen, kontrollierst du die Indexierungsanweisung. Der Beitrag robots.txt prüfen erklärt die erste Ebene ausführlicher.
Auch eine XML Sitemap entscheidet nicht allein über die Indexierung. Sie nennt bevorzugte URLs, während Robots Anweisungen den Umgang mit einer einzelnen Ressource beeinflussen. Ein Sitemap Eintrag und ein noindex auf derselben URL senden widersprüchliche Signale. Nimm solche Fälle in dein Prüfprotokoll auf, statt lediglich die Sitemap erneut einzureichen.
Beginne mit einer kleinen, aussagekräftigen URL Auswahl
Starte nicht mit jeder Adresse des Blogs. Wähle zunächst einen veröffentlichten Beitrag, eine statische Seite, eine Kategorie, ein Autorenarchiv und eine URL, die absichtlich nicht indexiert werden soll. Ergänze auffällige Seiten aus der Search Console. Mit dieser Mischung erkennst du globale Vorlagenfehler und absichtliche Ausnahmen.
Notiere pro URL den Inhaltstyp und den gewünschten Zustand. Ein wertvoller Ratgeber soll meist indexierbar sein. Eine interne Suchergebnisseite oder eine dünne technische Bestätigungsseite kann bewusst ausgeschlossen werden. Ohne diesen Sollzustand kannst du zwar einen Wert ablesen, aber nicht beurteilen, ob er falsch ist.
Priorisiere URLs mit einem konkreten Anlass: eine unerwartete Ausschlussmeldung, eine kürzlich geänderte SEO Erweiterung, ein Theme Wechsel oder ein Umzug aus einer Testumgebung. Ergänze danach einige unauffällige Seiten als Kontrollgruppe. So erkennst du, ob nur eine Seite betroffen ist oder eine Vorlage überall dieselbe Anweisung ausgibt.
Der Prüfablauf vom Quelltext bis zum HTTP Header
Öffne die öffentliche URL ohne Anmeldung. Rufe den ursprünglichen Seitenquelltext auf und suche nach name=”robots”. Notiere jeden gefundenen Inhalt. Ein typischer freigegebener Beitrag benötigt nicht zwingend einen ausdrücklich gesetzten Wert index, follow, weil dies dem normalen Verhalten entspricht. Wichtiger ist, dass keine unbeabsichtigte Einschränkung vorhanden ist.
Kontrolliere anschließend den HTTP Antwortheader. Browser Entwicklerwerkzeuge zeigen ihn im Netzwerkbereich. Alternativ kannst du ein Werkzeug verwenden, das die Antwortheader einer öffentlichen URL unverändert anzeigt. Suche nach X-Robots-Tag. Prüfe auch Weiterleitungen, denn du musst den Header der endgültig ausgelieferten Ressource beurteilen und nicht nur den ersten Schritt einer Kette.
- Öffne die endgültige öffentliche URL.
- Suche im Seitenquelltext nach Robots Meta Elementen.
- Kontrolliere den HTTP Status und alle Weiterleitungen.
- Lies den X-Robots-Tag in der endgültigen Antwort.
- Vergleiche das Ergebnis mit dem gewünschten Zustand.
- Dokumentiere Quelle und zuständige Einstellung.
Findest du mehrere Robots Elemente, vergleiche alle Regeln. Verschiedene Erweiterungen, das Theme und eigener Code können parallel Ausgaben erzeugen. Entferne nicht blind den ersten sichtbaren Eintrag. Ermittle, welche Komponente ihn erzeugt und ob eine zweite Regel im Header verbleibt.
Widersprüche mit Canonical und Sitemap erkennen
Eine Seite mit noindex und einem Canonical Verweis auf eine andere URL enthält zwei verschiedene Hinweise. Ein Canonical Element nennt eine bevorzugte Fassung ähnlicher Inhalte. Noindex fordert den Ausschluss der aktuellen Ressource. Nutze diese Kombination nicht als Standardlösung für doppelte Inhalte. Entscheide zuerst, welche URL bestehen und indexiert werden soll.
Der Leitfaden Canonical Tag prüfen zeigt, wie du Quelltext, Zieladresse, interne Links und Auswahl in der Search Console vergleichst. Übertrage die bevorzugte URL anschließend auch in deine internen Links und Sitemap. Eine technische Einstellung sollte die redaktionelle Entscheidung abbilden, nicht ersetzen.
Kontrolliere außerdem, ob eine als noindex markierte URL weiterhin massenhaft intern verlinkt wird. Das ist nicht automatisch falsch, denn manche hilfreichen Navigationsseiten sollen für Besucher erreichbar bleiben. Es verlangt aber eine bewusste Entscheidung. Ein unbeabsichtigt ausgeschlossener Hauptartikel verdient dagegen eine schnelle Korrektur.
Typische Ursachen in WordPress eingrenzen
In WordPress kann die globale Einstellung zur Sichtbarkeit für Suchmaschinen weitreichende Folgen haben. Auch eine SEO Erweiterung kann Regeln nach Inhaltstyp vergeben. Kategorien, Schlagwörter, Autorenarchive und einzelne Beiträge dürfen unterschiedliche Einstellungen besitzen. Prüfe daher zuerst, ob der Fehler global, nach Inhaltstyp oder nur auf einer URL auftritt.
Ein häufiger Auslöser ist eine übernommene Testeinstellung nach dem Start einer Website. Ebenso können doppelte SEO Erweiterungen oder ein Theme eigene Meta Angaben ausgeben. Caches erschweren die Diagnose, weil angemeldete Redakteure eine andere Fassung sehen als öffentliche Besucher. Leere nach einer Änderung den zuständigen Cache und kontrolliere die URL erneut ohne Anmeldung.
Ändere niemals mehrere Ebenen gleichzeitig, wenn du die Ursache noch suchst. Sonst weißt du später nicht, welche Maßnahme den ausgelieferten Wert verändert hat. Korrigiere die zuständige Stelle, prüfe den Quelltext und den Header erneut und teste zusätzlich einen ähnlichen Beitrag sowie einen anderen Inhaltstyp.
Änderungen in der Search Console nachverfolgen
Die URL Prüfung in der Google Search Console kann zeigen, ob eine Seite indexiert ist und welche Hindernisse erkannt wurden. Der Bericht ist jedoch keine Echtzeitansicht jeder gerade gespeicherten Änderung. Prüfe zunächst die öffentlich ausgelieferte Seite. Erst wenn dort der gewünschte Zustand erscheint, ist eine erneute Prüfung oder Indexierungsanfrage sinnvoll.
Notiere Datum, URL, alten Wert, neuen Wert und die geänderte Quelle. Beobachte anschließend, ob Google die Seite erneut abgerufen hat. Vermeide tägliche Richtungswechsel. Suchmaschinen müssen die Ressource erneut crawlen, bevor eine neue Indexierungsanweisung verarbeitet werden kann.
Wenn eine Seite trotz korrekter technischer Freigabe nicht indexiert wird, ist das nicht automatisch ein weiterer Robots Fehler. Prüfe dann Inhalt, Erreichbarkeit, interne Verlinkung, Canonical Ziel und mögliche Überschneidungen. Eine Freigabe erlaubt die Indexierung, sie garantiert keine Aufnahme und kein Ranking.
KI kann Listen ordnen, aber keine Live Prüfung ersetzen
Eine KI kann exportierte URL Listen nach Inhaltstyp gruppieren, gefundene Robots Werte vergleichen und Abweichungen markieren. Gib ihr dafür URL, Sollzustand, Meta Wert, Header Wert und Canonical Ziel als getrennte Spalten. Ein brauchbarer Auftrag lautet: Markiere widersprüchliche Werte und fehlende Prüfungen. Verändere keine URL und leite den Live Status nur aus den gelieferten Daten ab.
Die KI kann ohne aktuellen Abruf nicht wissen, was der Server gerade ausliefert. Sie darf auch nicht entscheiden, welche vertrauliche Seite öffentlich werden soll. Entferne Zugangsdaten, private Parameter und Kundendaten aus der Eingabe. Prüfe jede vorgeschlagene Änderung im zuständigen System und anschließend an der öffentlichen URL.
Kurze Abschlusskontrolle für jede betroffene URL
- Der gewünschte Indexierungszustand ist schriftlich festgelegt.
- Robots Meta Element und X-Robots-Tag wurden geprüft.
- robots.txt verhindert nicht das Lesen einer notwendigen noindex Anweisung.
- Canonical Ziel, interne Links und Sitemap widersprechen der Entscheidung nicht.
- Die zuständige WordPress Einstellung ist bekannt.
- Die Änderung wurde öffentlich und ohne Anmeldung kontrolliert.
- Datum und Ergebnis sind dokumentiert.
Wenn du Meta Robots prüfen möchtest, arbeite von der einzelnen URL zur gemeinsamen Vorlage. Lies zuerst, was öffentlich ausgeliefert wird, bestimme dann die Quelle der Regel und ändere nur die verantwortliche Einstellung. Dieser Ablauf verhindert, dass eine kleine Korrektur versehentlich ganze Inhaltstypen aus der Suche entfernt.
