Crawlbar, indexierbar, zitierbar: die technischen Grundlagen

Technische Sauberkeit macht Inhalte erreichbar und verständlich. Sie beweist aber weder Fachkompetenz noch regionale Stärke. Eine crawlbare Seite mit austauschbarem Inhalt bleibt austauschbar; ein hervorragender Fachbeitrag hinter einer falschen Sperre bleibt unsichtbar.

Für eine belastbare Sichtbarkeit müssen deshalb zwei Ebenen zusammenkommen: ein klarer, hilfreicher Inhalt und eine technische Auslieferung, die Such- und KI-Systeme zuverlässig verarbeiten können.

Google erklärt, dass AI Overviews und AI Mode auf den Such- und Qualitätssystemen des Unternehmens aufbauen. Als unterstützender Link kommt eine Seite nur infrage, wenn sie indexiert und für ein Such-Snippet zugelassen ist. Eine Aufnahme oder Anzeige wird trotzdem nicht garantiert.

Genannt werden unter anderem erlaubtes Crawling, interne Links, sichtbarer Text, gute Seitenerfahrung und strukturierte Daten, die mit dem sichtbaren Inhalt übereinstimmen. Ein spezielles GEO-Schema ist dafür nicht erforderlich.

robots.txt steuert, welche URLs ein Crawler abrufen darf. Die Datei ist kein verlässliches Mittel, um eine bereits bekannte URL aus dem Suchindex zu halten. Dafür dienen ein erreichbares noindex-Signal oder ein echter Zugriffsschutz.

Das Zusammenspiel ist wichtig: Wird eine Seite per robots.txt blockiert, kann ein Crawler das noindex-Meta-Tag auf dieser Seite unter Umständen gar nicht lesen. Review-, Entwurfs- und interne Seiten sollten deshalb bewusst geschützt und zusätzlich mit passenden Indexierungssignalen versehen werden.

OpenAI dokumentiert unterschiedliche Crawler-Zwecke. Für die Auffindbarkeit in ChatGPT Search ist OAI-SearchBot relevant. GPTBot betrifft die mögliche Nutzung öffentlich erreichbarer Inhalte zur Verbesserung generativer Modelle. Unternehmen sollten diese Entscheidungen getrennt treffen und in robots.txt eindeutig abbilden.

Ein noindex-Signal kann zusätzlich verhindern, dass eine Seite als Suchergebnis erscheinen soll. Auch hier gilt: Der Crawler muss die Seite abrufen dürfen, um das Signal lesen zu können.

Google stellt ausdrücklich klar, dass llms.txt für Google Search und dessen generative Funktionen weder notwendig ist noch einen Sichtbarkeitsvorteil bringt. Wer eine solche Datei pflegt, sollte sie daher als kompakte Orientierung für andere Systeme verstehen – nicht als Ersatz für HTML, Sitemap oder interne Navigation.

Dass immoexperten eine llms.txt bereitstellt, ist eine Dokumentationsentscheidung. Die maßgeblichen Inhalte bleiben öffentlich erreichbare, kanonische Webseiten mit eindeutigen Quellen und Statuscodes.

Vor einer Veröffentlichung sollten beide Ansichten geprüft werden: das gerenderte Ergebnis im Browser und die HTTP-Antwort. Relevant sind insbesondere 200- und 404-Status, direkte Weiterleitungen, Canonical- und Open-Graph-URL, robots-Signal, Sitemap-Eintrag, interne Links und mobile Lesbarkeit.

Erst danach beginnt die Beobachtung. Bing stellt dafür inzwischen Zitationsdaten für unterstützte KI-Erlebnisse bereit; Google ordnet generative Suchleistung in seinen eigenen Berichten ein. Solche Messwerte helfen bei der Diagnose, sind aber kein Beweis für eine allgemeine Marktposition.