Indexierung
Indexierung bezeichnet die Aufnahme einer Webseite in den durchsuchbaren Datenbestand einer Suchmaschine. Erst eine indexierte Seite kann als Suchtreffer erscheinen – der Abruf durch den Crawler genügt dafür nicht, denn die Suchmaschine entscheidet danach eigenständig über die Aufnahme.
Die Indexierung bildet die mittlere Stufe der Kette aus Crawling, Indexierung und Ranking und wird über das Zusammenspiel von robots.txt, Meta-Robots-Tag, Canonical-Tag und XML-Sitemap gesteuert.
In einfachen Worten
Zwischen dem Abruf einer Seite und ihrer Sichtbarkeit in der Suche liegt eine Entscheidung: Die Suchmaschine bewertet nach dem Crawlen, ob die Seite in den Index aufgenommen wird. Dabei prüft sie unter anderem, ob der Inhalt eigenständig ist, ob eine kanonische Auszeichnung auf eine andere Adresse zeigt und ob Signale wie das Meta-Robots-Tag die Aufnahme ausschließen. Fällt die Entscheidung negativ aus, bleibt die Seite für Suchende unauffindbar. Betreiber steuern die Indexierung über mehrere Werkzeuge mit klar getrennten Rollen: Die robots.txt regelt den Zugriff der Crawler, das Meta-Robots-Tag erlaubt oder verbietet die Aufnahme, das Canonical-Tag benennt bei mehreren Varianten die maßgebliche Adresse, und die XML-Sitemap empfiehlt die relevanten Seiten. Ein häufiger Sonderfall ist die Ablehnung ohne ausdrückliches Verbot: Die Seite wurde abgerufen, aber als zu ähnlich oder zu substanzarm eingestuft – ein Hinweis auf doppelte oder dünne Inhalte.
Wozu brauche ich das?
Die Kontrolle des Indexierungs-Status gehört zur laufenden Pflege jeder Website: Nach einem Relaunch zeigt sie, ob alle wichtigen Seiten übernommen wurden; im Alltag deckt sie auf, wenn Seiten unbemerkt aus dem Index fallen oder unerwünschte Varianten aufgenommen wurden. Die Indexierungs-Übersichten der Suchmaschinen weisen dafür je Adresse aus, ob sie im Index steht und woran eine Aufnahme gescheitert ist.
Beispiel aus der Praxis
Ein Maschinenbauer stellt nach einem Relaunch fest, dass mehrere Produktbereiche in der Suche fehlen. Die Indexierungs-Übersicht nennt zwei Ursachen: Ein Teil der Seiten trägt noch das Aufnahme-Verbot aus der Testphase, ein anderer wird als Variante jeweils ähnlicher Seiten eingestuft und deshalb nicht eigenständig geführt. Die Bereinigung umfasst drei Schritte: Das Verbot aus der Testphase wird entfernt, die zu ähnlichen Bereichs-Seiten erhalten eigenständige Inhalte, und die XML-Sitemap wird auf die kanonischen Adressen beschränkt. In den Folgewochen nimmt die Suchmaschine die Bereiche nach und nach auf, und die Produktseiten erscheinen wieder für ihre Suchanfragen.
Wirtschaftlicher Nutzen
Der Index ist die Eintrittskarte in die organische Sichtbarkeit: Eine nicht indexierte Seite existiert für Suchende schlicht nicht, unabhängig vom Aufwand, der in ihr steckt. Wer den Indexierungs-Status überwacht, bemerkt Fehlentwicklungen früh – etwa nach Umbauten, bei denen Steuersignale versehentlich mitwandern. Umgekehrt schützt eine bewusste Nicht-Indexierung interne Bereiche, Filterseiten und Testumgebungen davor, in der Suche aufzutauchen.
Typische Fehler
- Das Aufnahme-Verbot aus der Testumgebung nach dem Livegang nicht entfernt – die gesamte Website bleibt unsichtbar.
- Crawlen und Indexieren gleichgesetzt – eine abgerufene Seite ist noch keine aufgenommene.
- Die robots.txt zum Entfernen aus dem Index eingesetzt – gesperrte Adressen können weiter als Treffer erscheinen.
- Den Indexierungs-Status nie kontrolliert – aus dem Index gefallene Seiten bleiben monatelang unbemerkt.
- Widersprüchliche Signale gesetzt, etwa ein Canonical-Tag auf eine Adresse, die selbst vom Index ausgeschlossen ist.
Worauf achten?
- Nach jedem Livegang und Relaunch prüfen, ob die wichtigen Seiten im Index stehen.
- Zum Ausschluss einzelner Seiten das noindex verwenden – die robots.txt regelt nur den Abruf.
- Je Inhalt eine kanonische Adresse bestimmen, damit die Aufnahme-Entscheidung nicht bei der Suchmaschine liegt.
- Die XML-Sitemap auf indexierbare Seiten beschränken – sie ist die Empfehlungsliste für die Aufnahme.
- Wird eine Seite abgerufen, aber nicht aufgenommen: die Eigenständigkeit des Inhalts prüfen, nicht nur die Technik.
Häufig gestellte Fragen
Was bedeutet Indexierung bei Suchmaschinen?
Die Aufnahme einer Seite in den durchsuchbaren Datenbestand der Suchmaschine. Nur indexierte Seiten können als Suchtreffer erscheinen; das Crawlen ist lediglich der vorgelagerte Abruf.
Warum wird eine Seite gecrawlt, aber nicht indexiert?
Die Suchmaschine hat die Seite abgerufen und sich gegen die Aufnahme entschieden – häufig, weil der Inhalt einer anderen Seite zu ähnlich ist, zu wenig eigene Substanz bietet oder eine kanonische Auszeichnung auf eine andere Adresse zeigt.
Wie lange dauert die Indexierung einer neuen Seite?
Von wenigen Stunden bis zu mehreren Wochen – abhängig davon, wie häufig die Website gecrawlt wird und wie gut die neue Seite intern verlinkt und in der XML-Sitemap gemeldet ist. Eine Garantie auf Aufnahme gibt es nicht.
Wie entferne ich eine Seite aus dem Index?
Mit dem Meta-Robots-Wert noindex, der beim nächsten Crawl zur Entfernung führt. Die robots.txt eignet sich dafür nicht: Sie verhindert den Abruf, doch eine bereits bekannte Adresse kann als Treffer bestehen bleiben.