Meta-Robots-Tag
Das Meta-Robots-Tag ist eine Anweisung im Seitenkopf, die pro Seite festlegt, ob Suchmaschinen sie indexieren (noindex) und ob sie den enthaltenen Links folgen (nofollow).
Das Meta-Robots-Tag steuert das Indexieren einzelner Seiten und ergänzt damit die [[robots-txt|robots.txt]], die nur das Crawlen regelt, sowie die [[xml-sitemap|XML-Sitemap]] innerhalb der technischen Indexierungs-Steuerung.
In einfachen Worten
Während die robots.txt den Abruf einer Seite regelt, entscheidet das Meta-Robots-Tag über deren Aufnahme in den Index. Die Anweisung noindex hält eine Seite aus den Suchergebnissen heraus, obwohl sie weiter erreichbar bleibt; nofollow weist die Suchmaschine an, den Links auf der Seite keine Empfehlungs-Wirkung zuzurechnen. Beide stehen entweder als Element im HTML-Kopf oder als X-Robots-Tag im HTTP-Antwort-Header. Ein häufig übersehener Zusammenhang: Damit ein noindex wirkt, muss die Suchmaschine die Seite abrufen dürfen. Wird dieselbe Seite zusätzlich per robots.txt gesperrt, sieht der Crawler das noindex nie – und die Seite kann ungewollt im Index verbleiben.
Wozu brauche ich das?
Das Meta-Robots-Tag mit noindex ist das richtige Werkzeug für Seiten, die existieren, aber nicht in der Suche erscheinen sollen: Danke- und Bestätigungsseiten, interne Suchergebnisse, Filter-Varianten ohne eigenen Suchwert, Login-Bereiche oder dünne Inhalte, die das Gesamtbild der Website verwässern. nofollow ist relevant, wo auf Seiten nicht für fremde Adressen gebürgt werden soll, etwa bei nutzergenerierten Verweisen. Für normale, sichtbare Inhalte bleibt das Tag bewusst leer beziehungsweise auf indexierbar gestellt.
Beispiel aus der Praxis
Eine Website erzeugt für jede Filter-Kombination eine eigene Adresse. Hunderte dieser dünnen Varianten landen im Index und verdrängen die eigentlichen Kategorie- und Produktseiten in der Wahrnehmung der Suchmaschine. Statt die Seiten per robots.txt zu sperren – was das spätere Entfernen aus dem Index verhindern würde – erhalten sie ein noindex im Meta-Robots-Tag und bleiben crawlbar. Die Suchmaschine ruft sie ab, liest das noindex und entfernt sie nach und nach aus dem Index. Die verbliebenen, starken Seiten gewinnen an Profil.
Wirtschaftlicher Nutzen
Der wirtschaftliche Wert des Meta-Robots-Tags liegt in der Qualitätssteuerung des Index: Nur die Seiten, die Suchtreffer liefern sollen, konkurrieren um Sichtbarkeit, während dünne oder doppelte Seiten gezielt herausgehalten werden. Das schärft das Profil einer Website und verhindert, dass schwache Seiten die starken nach unten ziehen. Der Aufwand ist gering, da moderne Systeme das Tag pro Seitentyp zentral verwalten – die Wirkung auf die Indexierungs-Hygiene ist jedoch erheblich. Konsequenterweise gehören per noindex ausgeschlossene Seiten auch nicht in die XML-Sitemap.
Typische Fehler
- Eine wichtige Seite trägt versehentlich ein noindex, das aus der Testumgebung übernommen wurde – sie verschwindet aus dem Index.
- noindex gesetzt und die Seite gleichzeitig per robots.txt gesperrt – der Crawler sieht das noindex nie, die Seite bleibt indexiert.
- nofollow eingesetzt in der Erwartung, eine Seite aus dem Index zu halten – dafür ist noindex zuständig, nicht nofollow.
- noindex nach dem Livegang vergessen zu entfernen – die Seite bleibt dauerhaft unsichtbar.
- Widerspruch zwischen Canonical-Tag und noindex auf derselben Seite – die Signale heben sich gegenseitig auf.
Worauf achten?
- Eine per noindex auszuschließende Seite muss crawlbar bleiben – nicht zusätzlich in der robots.txt sperren.
- Nach jedem Relaunch prüfen, ob kein noindex aus der Testumgebung auf produktive Seiten übernommen wurde.
- Zum Entfernen aus dem Index noindex verwenden, nicht nofollow – beide Anweisungen haben unterschiedliche Aufgaben.
- noindex und Canonical-Tag nicht widersprüchlich kombinieren – eine kanonische Seite soll indexiert werden.
- Das X-Robots-Tag im Header nutzen, wenn nicht-HTML-Dateien wie PDFs aus dem Index gehalten werden sollen.
Häufig gestellte Fragen
Was ist der Unterschied zwischen robots.txt und Meta-Robots-Tag?
Die robots.txt steuert das Crawlen, also ob eine Seite abgerufen werden darf. Das Meta-Robots-Tag steuert das Indexieren, also ob eine abgerufene Seite in den Suchergebnissen erscheint. Beide Ebenen sind getrennt und sollten nicht widersprüchlich kombiniert werden.
Was bewirkt noindex?
noindex weist Suchmaschinen an, eine Seite nicht in den Index aufzunehmen oder sie daraus zu entfernen. Die Seite bleibt für Besucher erreichbar, erscheint aber nicht mehr in den Suchergebnissen. Voraussetzung ist, dass die Seite gecrawlt werden darf.
Was bedeutet nofollow?
nofollow weist Suchmaschinen an, den Links auf einer Seite keine Empfehlungs-Wirkung zuzurechnen. Es hält die Seite selbst nicht aus dem Index – dafür ist noindex zuständig. nofollow wird etwa bei nutzergenerierten oder bezahlten Verweisen eingesetzt.
Warum wirkt mein noindex nicht?
Der häufigste Grund ist eine gleichzeitige Sperre derselben Seite in der robots.txt. Der Crawler darf die Seite dann nicht abrufen und liest das noindex nie. Erst wenn die Seite crawlbar ist, kann die Suchmaschine die Anweisung erkennen und umsetzen.