KI-Crawler und Indexierung: Was darf abgerufen und gefunden werden?

Kurz erklärt

KI-Crawler und Indexierung sollten getrennt gesteuert und geprüft werden. robots.txt regelt, welche Crawler einen Pfad anfordern dürfen; noindex steuert die Aufnahme in Suchergebnisse, wenn der Crawler die Seite erreichen kann. Sitemaps und interne HTML-Links helfen bei der Entdeckung, ersetzen aber keine erreichbare, hochwertige Seite. Für jeden Provider müssen Zweck und aktuelle Dokumentation geprüft werden. Eine erlaubte Anfrage garantiert weder Indexierung noch eine Erwähnung in einer KI-Antwort.

Crawling, Indexierung und Ausspielung unterscheiden

Beim Crawling ruft ein Bot eine URL und ihre Ressourcen ab. Bei der Indexierung analysiert ein System den Inhalt und entscheidet, ob und unter welcher kanonischen URL er gespeichert wird. Erst bei einer Suchanfrage wird entschieden, welche Inhalte ausgespielt werden.

Ein Fehler auf einer Ebene erklärt nicht automatisch das Ergebnis der nächsten. Eine URL kann gecrawlt, aber wegen noindex nicht indexiert werden. Eine indexierte Seite kann für eine bestimmte Frage trotzdem irrelevant sein. Diese Zustände müssen getrennt im Prüfprotokoll stehen.

robots.txt richtig und sparsam einsetzen

robots.txt liegt im Top-Level der jeweiligen Domain und enthält Regeln für Crawler. Sie eignet sich vor allem zur Steuerung von Abrufen und zum Entlasten unwichtiger Bereiche. Sie ist kein zuverlässiger Mechanismus, um eine bereits verlinkte URL aus Suchergebnissen zu entfernen.

Prüfe Host, Protokoll und Pfad genau. Eine Regel auf www gilt nicht automatisch für die Non-www-Variante. Halte wichtige öffentliche Inhalte, CSS und JavaScript für das Rendering erreichbar, sofern du sie nicht bewusst schützen musst.

• robots.txt unter der richtigen Host-Domain prüfen
• Nur unwichtige oder bewusst zu steuernde Abrufe begrenzen
• Öffentliche Wissensseiten nicht versehentlich disallowen
• Sitemap-URL korrekt angeben
• Live-Datei nach jedem Domain- oder Deploymentwechsel testen

noindex, Sitemap und interne Links nicht verwechseln

noindex ist eine Indexierungsanweisung im HTML oder HTTP-Header. Sie kann nur gelesen werden, wenn der Crawler die Seite abrufen darf. Wer eine URL gleichzeitig in robots.txt blockiert und mit noindex versehen möchte, verhindert möglicherweise, dass der Bot die noindex-Anweisung überhaupt sieht.

Eine Sitemap nennt wichtige URLs und kann die Entdeckung unterstützen. Interne Links liefern zusätzlich Kontext und führen Nutzer wie Crawler durch die Website. Beide ersetzen keine gute Seite mit passendem Canonical, erreichbarem Inhalt und eigenständigem Nutzen.

• indexierbare Seite: kein unbeabsichtigtes noindex
• nicht öffentliche Seite: Zugriffsschutz oder passende noindex-Strategie
• Sitemap nur mit kanonischen, erreichbaren URLs
• mindestens ein relevanter HTML-Eingangslink
• Canonical und Hostvariante konsistent

JavaScript, Rendering und sichtbares HTML prüfen

Moderne Suchcrawler können JavaScript ausführen, aber Rendering ist eine zusätzliche Verarbeitungsebene. Wenn Haupttext, Links oder strukturierte Daten erst nach einer fehlerhaften Interaktion erscheinen, kann die sichtbare Seite anders aussehen als erwartet.

Prüfe wichtige Wissensseiten anonym mit deaktiviertem Login, URL-Inspection und einem Blick in das gerenderte HTML. Die Kernantwort, Navigation, Canonical und relevante Links sollten auch ohne clientseitige Sonderlogik nachvollziehbar sein.

• Haupttext im gerenderten HTML
• Links als echte a/href-Elemente
• Canonical und Meta-robots im finalen Dokument
• Schema mit sichtbaren Inhalten synchron
• Keine Abhängigkeit von einem Login für öffentliche Seiten

Provider und Crawler in einer Zweck-Matrix dokumentieren

Nicht jeder Bot erfüllt denselben Zweck. Ein Anbieter kann getrennte Crawler für Suche, Training, Nutzerabrufe oder Sicherheitsanalysen dokumentieren. Prüfe für jeden tatsächlich relevanten Provider den aktuellen Namen, Zweck und die passende Opt-out- oder Zugriffsregel in der Originaldokumentation.

Vermeide eine pauschale Freigabeformel wie alle KI-Bots erlaubt. Eine Matrix mit User-Agent, Zweck, erlaubten Pfaden, Quelle und Prüfdatum macht die Entscheidung nachvollziehbar. Für Provider, die im Produkt noch nicht verbunden sind, wird keine Mess- oder Sichtbarkeitsaussage abgeleitet.

Technischer Prüfablauf für eine neue Seite

Beginne mit einem direkten HTTP-Status und der kanonischen URL. Prüfe danach robots.txt, noindex, Sitemap-Eintrag, interne Eingangslinks und gerendertes HTML. Erst wenn diese Ebenen sauber sind, wird die URL in Search Console oder einer Provider-Umgebung geprüft.

Dokumentiere Datum, Hostvariante, Antwortstatus, Regel, Ergebnis und nächste Aktion. Nach Änderungen wird dieselbe Prüfung wiederholt. Indexierung oder KI-Abruf kann anschließend Zeit benötigen und ist nicht durch eine einzelne erfolgreiche Anfrage garantiert.

• HTTP 200 und HTTPS prüfen
• robots.txt und Meta-robots prüfen
• Canonical, Sitemap und interne Links prüfen
• Gerendertes HTML und strukturierte Daten prüfen
• URL-Inspection und Provider-Dokumentation prüfen

KI-Crawler-Befunde mit Webstatt priorisieren

Webstatt verbindet Website-Zustand mit tatsächlichen KI-Messungen. Ein technischer Website-Befund kann als Aufgabe mit URL und Definition of Done dokumentiert werden; eine erfolgreiche OpenAI-Antwort zeigt zusätzlich, ob die fachliche Information gefunden, genannt oder empfohlen wurde.

Die Plattform ersetzt keine Server- oder Providerlogs und führt keine automatische robots.txt-Änderung aus. Perplexity und Bing Webmaster sind vorbereitet, aber nicht als aktive Messprovider auszuweisen, solange die Verbindung fehlt.

Häufige Fragen zu GEO

Verhindert robots.txt die Indexierung einer URL?

Nicht zuverlässig. robots.txt steuert den Abruf. Eine verlinkte, blockierte URL kann unter Umständen trotzdem ohne vollständigen Inhalt bekannt werden. Für eine gezielte Indexierungssteuerung ist noindex oder Zugriffsschutz geeigneter.

Muss ich alle KI-Crawler erlauben?

Nein. Prüfe pro Provider Zweck, Geschäftsbedarf und aktuelle Originaldokumentation. Eine Freigabe ist eine bewusste Entscheidung und keine Garantie für Sichtbarkeit.

Was ist der Unterschied zwischen Sitemap und robots.txt?

robots.txt steuert, welche Abrufe erlaubt sind. Eine Sitemap nennt wichtige URLs zur Entdeckung. Beide ersetzen keine internen Links, erreichbaren Inhalt und korrekte Canonicals.

Kann eine indexierte Seite in einer KI-Antwort fehlen?

Ja. Indexierung oder Abrufbarkeit bedeuten nicht, dass die Seite für jede Frage relevant ist oder von einem Provider verwendet wird. Das wird mit konkreten, dokumentierten Fragen geprüft.