Crawlbar, indexierbar, zitierbar: die technischen Grundlagen

Als die ersten Teams begannen, robots.txt, Sitemap, strukturierte Daten und KI-Crawler gezielt für generative Suche zu prüfen, klang das für viele nach technischer Spielerei. Die Gegenposition war einfach: KI-Antworten entstehen doch aus Modellen, nicht aus klassischer Suchmaschinenoptimierung.

Diese Sicht war zu kurz. Denn sobald KI-Systeme aktuelle Antworten mit Quellen, Links und Webinhalten erzeugen, zählt wieder die alte Grundfrage: Kann das System die relevanten Inhalte überhaupt finden, lesen, einordnen und als Quelle verwenden?

Google hat mit dem offiziellen Search-Central-Guide zu generativen KI-Features klargestellt: SEO bleibt relevant, weil AI Overviews und AI Mode auf Googles Search-Index, Ranking- und Qualitätssystemen aufbauen.

Google nennt dabei ausdrücklich Grundlagen wie technische Struktur, crawlbare und indexierbare Seiten, hilfreiche Inhalte, interne Links, Textinhalte, Page Experience und strukturierte Daten, die zum sichtbaren Inhalt passen.

Wichtig ist die saubere Einordnung: Google sagt nicht, dass ein einzelnes Spezial-Tag, eine magische Datei oder ein Schema-Kniff Sichtbarkeit in AI Overviews verlässlich herbeiführt. Im Gegenteil: Google warnt vor Abkürzungen und sagt, dass LLMS.txt für Google Search nicht notwendig ist.

Trotzdem validiert Google den Kern von guter GEO-Arbeit: Wer in generativen Sucherlebnissen sichtbar sein will, braucht Inhalte, die auffindbar, verständlich, hochwertig und technisch sauber eingebunden sind.

Robots.txt ist kein Ranking-Booster. Die Datei entscheidet auch nicht, ob ein Inhalt gut genug ist. Aber sie kann verhindern, dass wichtige Inhalte gecrawlt werden. Genau deshalb ist sie ein technischer Kontrollpunkt.

Google beschreibt robots.txt als Werkzeug, das Crawlern sagt, welche URLs sie abrufen dürfen. Gleichzeitig ist robots.txt kein sicherer Weg, um Inhalte aus dem Index zu halten. Dafür braucht es noindex oder Zugriffsschutz.

Für Immobilienmakler heißt das: Eine starke Positionierung reicht nicht, wenn die Website technisch unklar ist. Regionenseiten, Expertenprofile und Ratgeber müssen indexierbar sein, intern verlinkt werden und wichtige Aussagen als Text enthalten.

Strukturierte Daten können zusätzlich helfen, Profil, Region, Organisation, FAQ oder Artikel besser einzuordnen. Sie sollten aber immer das abbilden, was auch sichtbar auf der Seite steht.

Dass Google selbst eine eigene Anleitung für generative KI-Sichtbarkeit veröffentlicht, ist ein klares Signal: KI-Suche ist kein Randthema mehr. Die Begriffe AEO oder GEO mögen diskutiert werden, aber die Aufgabe dahinter ist real.

Für Maklerunternehmen wird Sichtbarkeit deshalb breiter: Es geht nicht mehr nur darum, für ein Keyword zu ranken. Es geht darum, als belastbare Quelle für eine Region, eine Spezialisierung und eine konkrete Eigentümerfrage verstanden zu werden.