Braucht deine B2B-Website eine llms.txt? Was 300.000 Domains und unser Bot-Log zeigen

Die Frage kommt inzwischen regelmäßig in Erstgesprächen. Meist von einer Marketingleitung, der jemand eine llms.txt als GEO-Maßnahme verkauft hat, oft zusammen mit einem Audit-Report, der die fehlende Datei rot markiert. Allein in Deutschland wird der Begriff rund 2.400 Mal im Monat gesucht.

Deshalb hier die kurze Antwort mit Belegen: Für eine B2B-Marketing-Website ist die llms.txt kein Sichtbarkeitshebel. Und weil du uns das nicht glauben sollst, steht unten eine Anleitung, mit der du es in fünf Minuten für deine eigene Domain nachrechnest.

Was eine llms.txt ist

Die Idee stammt aus dem September 2024 von Jeremy Howard (Answer.AI): eine Markdown-Datei unter /llms.txt, die eine Website in wenigen Absätzen zusammenfasst und auf ihre wichtigsten Seiten verlinkt. Der Gedanke dahinter ist einleuchtend. Sprachmodelle haben ein begrenztes Kontextfenster, HTML ist voller Navigation, Cookie-Banner und Skript-Ballast. Eine kuratierte Markdown-Übersicht spart dem Modell Arbeit.

Wichtig ist die Einordnung: llms.txt ist ein Vorschlag, kein verabschiedeter Standard. Anders als bei der robots.txt hat sich keine Suchmaschine und kein AI-Anbieter öffentlich verpflichtet, die Datei zu lesen. Sie funktioniert nur, wenn jemand sie abruft, und genau das lässt sich messen.

Was die Daten sagen

300.000 Domains, kein messbarer Effekt auf Citations

SE Ranking hat am 7. November 2025 eine Auswertung von rund 300.000 Domains veröffentlicht (Yulia Deda und Svitlana Tomko). 10,13 Prozent davon hatten eine llms.txt. Auffällig ist die Verteilung: Die Adoption ist über alle Traffic-Klassen hinweg praktisch flach, 9,88 Prozent bei 0 bis 100 Besuchen, 10,54 Prozent bei 1.001 bis 5.000, 8,27 Prozent ab 100.001. Die Verbreitung, so die Autorinnen, isn't concentrated among industry leaders.

Interessanter ist der zweite Teil. Das Team hat per Spearman-Korrelation, XGBoost-Regression und SHAP-Analyse geprüft, wie stark eine vorhandene llms.txt erklärt, wie oft eine Domain in AI-Antworten zitiert wird. Ergebnis: When we removed the LLMs.txt factor, the model's predictions actually improved. Das Modell wurde ohne den Faktor besser. Fazit der Studie: LLMs.txt doesn't seem to directly impact AI citation frequency.

97 Prozent der Dateien werden nie abgerufen

Die zweite Studie beantwortet die noch direktere Frage: Holt sie überhaupt jemand ab? Ahrefs hat dafür am 15. Juni 2026 die Logdaten von 137.210 Domains aus der eigenen Web- und Bot-Analytics ausgewertet (Louise Linehan, Datenbasis Mai 2026). Der zentrale Satz: 97% of llms.txt files receive zero traffic in May 2026. Nothing fetched them at all.

Noch aufschlussreicher sind die verbleibenden 3 Prozent. Die größte Gruppe der Abrufe kommt mit 21,7 Prozent von SEO-Audit-Tools, also von genau den Werkzeugen, die eine fehlende llms.txt danach als Mangel melden. Dahinter folgen unbekannte Bots (14,9 Prozent), allgemeine Crawler (13,1 Prozent), Technologie-Profiler (11,6 Prozent) und AI-Agents samt Infrastruktur (10,5 Prozent). Die Kategorie, um die es eigentlich geht, ist die kleinste: AI-Retrieval-Bots wie PerplexityBot oder OAI-SearchBot machen zusammen 1,1 Prozent aus, AI-Assistenten 2,5 Prozent. Claude-Code, also der Coding-Agent, hat mehr llms.txt-Dateien geholt als alle Retrieval-Bots und Assistenten zusammen. Und für Domains ohne die Datei gilt: Zero requests came from AI bots for llms.txt files that don't exist. They never go looking.

Google sagt es selbst

Am 15. Juni 2026 hat Google im Mythbusting-Abschnitt seines Leitfadens zur AI-Optimierung eine Klarstellung zu llms.txt-Dateien ergänzt, so steht es im offiziellen Änderungsprotokoll der Search-Central-Doku. Der Wortlaut lässt wenig Interpretationsspielraum: You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search (including its generative AI capabilities), as Google Search itself doesn't use them. Und weiter: Doing so will neither harm nor help your site's visibility or rankings in Google Search, as Google Search ignores them.

Der Klammerzusatz ist der entscheidende Teil. AI Overviews und AI Mode sind genau diese generativen Funktionen der Google-Suche. Wer eine llms.txt anlegt, um in AI Overviews zu landen, optimiert für eine Oberfläche, die die Datei ausdrücklich ignoriert.

Unser eigenes Bot-Log

Bleibt der Einwand, dass Studien fremde Domains messen. Also haben wir in unsere eigenen Logs geschaut, zuerst in das von fento.ai. Die Domain liefert durchgehend eine llms.txt aus, und unser serverseitiges Tracking erfasst Requests auf /llms.txt ausdrücklich mit. Wie es aufgebaut ist, steht im Beitrag über die AI-Bots, die deine Website lesen. Zeitraum: 17. Juni bis 8. September 2026, also 83 Tage.

In dieser Zeit haben 23 verschiedene AI- und Search-Crawler zusammen 14.556 Requests abgesetzt. Auf /robots.txt entfielen davon 1.969, auf /sitemap.xml 893. Auf /llms.txt entfiel genau ein Treffer, und der stammt von unserem eigenen Smoke-Test am 17. Juni, mit dem wir überprüft haben, dass die Erfassung dieser Datei überhaupt funktioniert. Von echten Crawlern: null.

Die Zeilen, auf die es ankommt, sind ClaudeBot und OAI-SearchBot. ClaudeBot hat die robots.txt 524 Mal geholt und die sitemap.xml ebenfalls 524 Mal, aber die llms.txt kein einziges Mal, obwohl sie im selben Verzeichnis liegt und über denselben Pfad erreichbar ist. OAI-SearchBot hat die robots.txt 601 Mal gelesen und die llms.txt nie. Auch die restlichen 13 Bots im Log, von Claude-SearchBot über PerplexityBot bis DuckAssistBot, kommen auf null.

Eine einzelne Domain ist noch kein Beweis, also der Gegencheck an einer größeren Seite. Eine B2B-Kundenwebsite aus unserem Tracking, ein Industrieauftritt mit etwa dem Vierfachen an Crawler-Verkehr, liegt im selben Zeitfenster auf demselben Setup und liefert ebenfalls durchgehend eine gültige llms.txt aus (HTTP 200, text/plain, rund 18 KB). Dort haben 25 verschiedene Crawler 62.218 Requests abgesetzt, davon 4.353 auf die robots.txt und 887 auf die sitemap.xml. OAI-SearchBot allein hat die robots.txt 1.254 Mal geholt, ClaudeBot 715 Mal plus 536 Mal die sitemap.xml. Die Bots haben sogar auf Verdacht nach Sitemap-Varianten gesucht, die es dort gar nicht gibt: /sitemap_index.xml, /sitemaps.xml, /news-sitemap.xml. Abrufe der llms.txt, wieder ohne unsere beiden Smoke-Test-Treffer vom 17. Juni: null.

Das ist der Punkt. Über beide Sites hinweg, 76.774 Requests, wissen diese Crawler sehr genau, wo maschinenlesbare Dateien liegen. Sie holen sie diszipliniert ab und raten im Zweifel sogar Dateinamen. Sie suchen nur nach dieser einen nicht.

Wofür llms.txt tatsächlich taugt

Es gibt einen Anwendungsfall, und der ist real. In den Ahrefs-Daten ist ausgerechnet ein Coding-Agent der aktivste Abrufer. Das passt dazu, wer die Datei ernsthaft pflegt: Anthropic, Cloudflare, Stripe und Cursor veröffentlichen llms.txt-Dateien für ihre Entwicklerdokumentation. Ein Agent, der eine API integrieren soll, kommt mit einer kuratierten Linkliste in Markdown schneller ans Ziel als mit einer durchsuchbaren Docs-Oberfläche.

Dazu kommt eine Nuance, die die Verwirrung erklärt. Seit dem 5. Mai 2026 hat Chrome Lighthouse eine Audit-Kategorie für agentisches Browsen, die prüft, ob eine llms.txt im Wurzelverzeichnis liegt, und eine vorhandene Datei bemängelt, wenn sie kaputt ist: keine H1, zu kurz, keine Links. Dieselbe Firma, die sagt, die Suche ignoriere die Datei, lintet sie also im eigenen Browser-Tool. Das ist kein Widerspruch, sondern eine Zuständigkeitsfrage: Das Audit richtet sich an agentische Browser und Coding-Agents, nicht an die Suche. Es sorgt aber zuverlässig dafür, dass jemand mit einem roten Lighthouse-Punkt im Marketing-Meeting sitzt.

Die Zahlen zur Verbreitung stützen die Nüchternheit. Rankability misst monatlich, welche der Tranco-Top-1.000-Sites eine gültige llms.txt ausliefern. Im Juni 2026 waren es 8,7 Prozent, also 87 Sites, nach 0,3 Prozent im Juni 2025. Die Adoption wächst, aber nach fast zwei Jahren liefern über 90 Prozent der größten Websites der Welt keine solche Datei aus.

Ehrliches Fazit: Betreibst du eine Entwicklerdokumentation, ist eine kuratierte llms.txt billig und nützlich. Betreibst du eine B2B-Marketing-Website, ist sie ein Nice-to-have ohne Sichtbarkeitswirkung.

In fünf Minuten selbst prüfen

Du musst uns nicht glauben. Prüf es an deiner Domain:

1. Existiert die Datei überhaupt? Ein Aufruf zeigt dir, ob sie mit Status 200 und als Text ausgeliefert wird.
2. Ruft sie jemand ab? Durchsuche dein Server-Log oder dein Bot-Tracking der letzten 30 Tage nach dem Dateinamen und gruppiere nach User-Agent.
3. Vergleiche mit robots.txt und sitemap.xml. Das ist der eigentliche Test. Diese beiden Zahlen zeigen dir, wie fleißig Crawler bei dir überhaupt nach Steuerdateien greifen.
4. Entscheide. Steht bei robots.txt eine dreistellige Zahl und bei llms.txt eine Null, hast du deine Antwort.

# 1. Liefert die Domain überhaupt eine llms.txt aus?
curl -sI https://deine-domain.de/llms.txt | head -n 5

# 2. Wer hat sie in den letzten 30 Tagen geholt?
grep "llms.txt" access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn

# 3. Zum Vergleich: robots.txt und sitemap.xml
grep -c "robots.txt" access.log
grep -c "sitemap.xml" access.log

Ein Hinweis für alle auf Vercel, Netlify oder Cloudflare Pages: Dort kommst du an ein klassisches Access-Log oft nicht heran, und Google Analytics hilft nicht weiter, weil Bots kein JavaScript ausführen und in GA deshalb nie auftauchen. In dem Fall brauchst du das serverseitige Tracking aus dem verlinkten Beitrag, rund 50 Zeilen Middleware, die jeden Request auf bekannte AI-User-Agents prüft. Danach hast du dieselbe Tabelle wie oben für deine eigene Domain.

Was stattdessen Citations bewegt

Wenn die Datei es nicht ist, was dann? Drei Dinge, in dieser Reihenfolge:

• Inhalte, die die tatsächlich gestellten Fragen beantworten. AI-Suche zerlegt eine Nutzerfrage in mehrere Teilfragen und sucht für jede einzeln. Wer nur auf das Hauptkeyword optimiert, verpasst die Mehrzahl dieser Abfragen. Wie dieser Mechanismus funktioniert, steht im Beitrag über Fan-out-Queries in der AI-Suche.
• Sauberes, crawlbares HTML. Kein Text, der erst per JavaScript nachgeladen wird, klare Überschriftenhierarchie, erreichbare interne Verlinkung. Die Bots holen sich das rohe HTML, und was dort nicht steht, existiert für sie nicht.
• Messen statt schätzen. Search Console und Bing Webmaster Tools zeigen inzwischen echte AI-Citations aus echten Suchanfragen. Wie du diese Reports liest, steht im Beitrag zur AI-Search-Sichtbarkeit in Google und Bing.

Eine llms.txt anzulegen ist nicht falsch. Sie schadet nicht, sie kostet eine halbe Stunde, und wenn dein Lighthouse-Report dadurch grün wird, ist im Team Ruhe. Falsch wird es erst, wenn sie im Quartalsplan die Zeile besetzt, in der eigentlich Inhalte, Struktur und Messung stehen müssten. Die Datei ist eine Wette auf eine Zukunft, die bisher niemand eingelöst hat. Deine Sichtbarkeit in AI-Antworten entscheidet sich heute an anderer Stelle.

Wir messen für B2B-Teams in Tech und Industrie, welche Bots eine Website wirklich lesen, und bauen die Seite so um, dass sie in AI-Antworten auftaucht und darüber qualifizierte Anfragen bringt. Wie wir dabei vorgehen, steht auf der Leistungsseite.

Quellen: SE Ranking: LLMs.txt study · Ahrefs: llms.txt study · Google: AI optimization guide, Mythbusting · Google Search Central: Documentation updates · Search Engine Land: Lighthouse agentic browsing audit · Chrome: Lighthouse agentic browsing scoring · Rankability: llms.txt adoption tracker · llmstxt.org: die Spezifikation