llms.txt i boty AI: co ustawić, żeby asystenci AI widzieli Twoją stronę

Trzy rodzaje botów AI

Duże firmy od AI, na przykład OpenAI, Anthropic i Perplexity, wysyłają na strony kilka różnych botów, a każdy z nich robi coś innego. Dla właściciela strony najważniejszy jest podział na trzy grupy.

• Boty treningowe zbierają treści, z których firma może trenować swoje modele. Przykłady: GPTBot (OpenAI), ClaudeBot (Anthropic).
• Boty wyszukiwania budują indeks, z którego asystent bierze źródła do odpowiedzi i linki. Przykłady: OAI-SearchBot (ChatGPT), Claude-SearchBot, PerplexityBot.
• Pobrania na żądanie to wizyty, które asystent robi w chwili, gdy użytkownik pyta o konkretną stronę albo wkleja link. Przykłady: ChatGPT-User, Claude-User, Perplexity-User.

Z tego podziału wynika najważniejsza praktyczna zasada: możesz nie zgodzić się na trening na swoich treściach i dalej być widoczny w odpowiedziach asystentów. Do tego trzeba zablokować boty treningowe i wpuścić boty wyszukiwania, choć samo to nie gwarantuje, że strona pojawi się w odpowiedziach.

Co daje zablokowanie poszczególnych botów

Google-Extended i Applebot-Extended nie są osobnymi robotami. To nazwy, którymi w robots.txt wyrażasz zgodę albo jej brak na użycie treści do AI. Stronę dalej pobierają zwykłe roboty wyszukiwarek: Googlebot i Applebot.

Przykład: zablokuj trening, zostaw wyszukiwanie

Poniższy fragment robots.txt mówi botom treningowym „nie”, a botów wyszukiwania nie wymienia, więc dotyczą ich ogólne reguły dla wszystkich robotów. Dopisujesz go do istniejącego pliku w głównym katalogu domeny. Jeśli plik ma już grupy dla tych botów, sprawdź ich reguły Allow: bardziej szczegółowa reguła Allow ma pierwszeństwo przed Disallow: /.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

Zanim to zrobisz, zastanów się, czy w ogóle chcesz blokować trening. Nie znaleźliśmy danych od firm AI, czy obecność w danych treningowych pomaga marce w odpowiedziach asystentów, ani czy jej brak szkodzi. Wiadomo tylko, że zablokowanie GPTBot i ClaudeBot nie blokuje botów wyszukiwania OpenAI i Anthropic. Google-Extended działa szerzej: obejmuje też użycie treści w odpowiedziach Gemini Apps i Vertex AI, choć nie wpływa na wyszukiwarkę Google.

Dwie rzeczy sprawdź przed publikacją zmian. Po pierwsze, czy w pliku nie ma reguły User-agent: * z Disallow: /, która blokuje wszystkie roboty bez własnej grupy w pliku, także wyszukiwania. Po drugie, czy nie blokujesz botów wyszukiwania, czyli OAI-SearchBot, Claude-SearchBot i PerplexityBot. OpenAI podaje, że wyniki wyszukiwania ChatGPT uwzględniają zmianę w robots.txt po około 24 godzinach.

robots.txt to prośba o dostęp

Plik robots.txt mówi botom, czego właściciel sobie życzy. Uczciwi operatorzy się do niego stosują, ale plik niczego fizycznie nie blokuje. Gary Illyes z Google opisał go w październiku 2026 roku jako protokół preferencji dostępu: decyduje o tym, czy bot może pobrać stronę. Według Illyesa sam protokół nie decyduje o tym, co system zrobi z już pobranymi danymi. Wyjątkiem są nazwy w rodzaju Google-Extended, którymi operator pozwala wyrazić zgodę na użycie treści.

W praktyce oznacza to dwie rzeczy.

Boty pobierające stronę na prośbę użytkownika mogą robots.txt pominąć. OpenAI pisze o ChatGPT-User, że reguły robots.txt mogą go nie dotyczyć, a Google i Perplexity piszą o swoich odpowiednikach, że zwykle je ignorują. Anthropic deklaruje, że wszystkie jego boty stosują się do robots.txt.

Niektóre boty nie przedstawiają się własną nazwą albo podszywają się pod inne. Jeśli naprawdę chcesz kogoś odciąć, robi się to na poziomie serwera, sieci CDN albo zapory aplikacyjnej. Ma to sens dla dużych serwisów z wartościową treścią. Mała firma, która chce być znaleziona przez asystentów, zwykle niczego takiego nie potrzebuje.

Jeśli strona korzysta z Cloudflare

Wiele stron korzysta z Cloudflare, a jego panel ma ustawienia dotyczące botów AI, które warto sprawdzić. We wrześniu 2026 roku Cloudflare zmienił te ustawienia.

• Opcja „Disallow AI Training” zapisuje w robots.txt sprzeciw wobec treningu dla botów, które obsługują jednocześnie wyszukiwarkę i AI (Bing ma go uwzględniać od początku 2027 roku), a pozostałe boty treningowe, na przykład OpenAI i Anthropic, blokuje. Googlebot, Bingbot i Applebot dalej mogą pobierać stronę do wyszukiwarek.
• Opcja „Block” obejmuje teraz także Googlebota, Bingbota i Applebota. Kto ją włączy, chcąc odciąć tylko AI, odcina też zwykłe wyszukiwanie.

Jeśli Twoja strona jest za Cloudflare, zajrzyj do ustawień botów w panelu i sprawdź, która opcja jest włączona. To jedna z niewielu sytuacji, w których jedno kliknięcie może wyłączyć stronę z Google.

Google: przegląd od AI rządzi się innymi zasadami

Google-Extended nie ma wpływu na przegląd od AI (AI Overviews) ani na tryb AI w wyszukiwarce. Te funkcje korzystają z indeksu wyszukiwarki, który buduje Googlebot. Według Google strona musi być zindeksowana i móc pokazać się w wynikach z fragmentem opisu. Innych wymagań technicznych ani specjalnej optymalizacji nie ma, ale spełnienie tych warunków nie gwarantuje, że strona się pokaże.

Od 31 sierpnia 2026 roku każda witryna może w Search Console wypisać się z funkcji AI w wyszukiwarce: przeglądu od AI, trybu AI i przeglądu od AI w Discover. Google zapewnia, że nie używa tego ustawienia jako sygnału w rankingu zwykłych wyników. Ustawienie obejmuje usługę w Search Console, a usługa z prefiksem URL, na przykład dla jednego katalogu, może mieć własne. Pojedyncze strony i fragmenty ograniczysz narzędziami, które działają na całą wyszukiwarkę: nosnippet, data-nosnippet, max-snippet albo noindex. Każde z nich ogranicza też zwykły wynik w Google.

llms.txt: co to jest i kto go czyta

llms.txt to plik tekstowy w formacie Markdown. Umieszcza się go w głównym katalogu domeny (twojadomena.pl/llms.txt) albo w podkatalogu. Wersja 2 specyfikacji z sierpnia 2026 roku doprecyzowała, że plik opisuje strony pod swoją ścieżką, a gdy pasuje kilka plików, obowiązuje najbardziej szczegółowy. Zaproponował go Jeremy Howard we wrześniu 2024 roku. Plik ma opisać stronę w kilku zdaniach i wskazać najważniejsze podstrony, tak żeby model językowy szybko znalazł to, czego potrzebuje. Według specyfikacji jedynym wymaganym elementem jest nagłówek z nazwą strony.

llms.txt niczego nie blokuje i na nic nie zezwala. Do tego służy robots.txt.

Czy asystenci AI go czytają

Według stanu na październik 2026 roku żadna duża firma nie potwierdziła, że jej systemy korzystają z llms.txt przy odpowiedziach.

• Google pisze wprost, że wyszukiwarka ignoruje te pliki, więc llms.txt ani nie pomaga, ani nie szkodzi widoczności w Google.
• Strony OpenAI, Anthropic i Perplexity opisujące ich boty nie piszą, że boty korzystają z llms.txt. OpenAI i Perplexity odsyłają tam tylko do własnego llms.txt ze spisem swojej dokumentacji.
• Semrush prowadził test na serwisie Search Engine Land od marca 2025 roku i nie znalazł związku między plikiem a wynikami w odpowiedziach AI.

Plików przybywa, ale wiele z nich nie spełnia specyfikacji. Analiza Common Crawl pokazała, że 68% plików pochodzi z wtyczek albo szablonów, a 23% nie ma ani jednego linku. Około 10% odpowiedzi z kodem 200 pod adresami /llms.txt i /llms-full.txt zawierało po prostu zawartość robots.txt. Badanie najpopularniejszych domen świata (lista Tranco) z końcówkami krajów Unii Europejskiej wykazało, że plik w formie opisanej w specyfikacji ma około 7% z nich. Te liczby pochodzą z różnych zbiorów i metod, więc nie da się ich ze sobą zestawiać. W naszym badaniu 296 polskich sklepów z TOP10 Google 64 sklepy zwracały treść rozpoznaną przez nasz skrypt jako llms.txt, a 16 kolejnych podawało pod tym adresem stronę HTML: wyniki badania.

Kiedy warto go zrobić

llms.txt ma dziś najwięcej sensu dla dokumentacji technicznej, z której korzystają agenci programistyczni i narzędzia dla deweloperów. Część firm technologicznych publikuje go właśnie dla swoich dokumentacji. Dla strony firmowej czy sklepu to rzecz opcjonalna: koszt jest mały, a dowodów na efekt na razie brak.

Jeśli go robisz, zrób go porządnie. Plik ma być zwykłym tekstem (nie PDF ani strona HTML), z nagłówkiem, krótkim opisem i listą najważniejszych stron z jednym zdaniem o każdej. Sprawdź też, czy pod adresem /llms.txt jest ten plik. Zdarza się, że serwer zwraca tam stronę błędu ze statusem 200.

Jak sprawdzić swoją stronę

1. Otwórz twojadomena.pl/robots.txt i poszukaj nazw botów z tabeli powyżej oraz reguły User-agent: *.
2. Jeśli korzystasz z Cloudflare albo innej sieci CDN, sprawdź ustawienia botów i zapory w panelu.
3. Poproś osobę od serwera o logi z ostatnich tygodni i sprawdź, czy pojawiają się w nich wizyty OAI-SearchBot, Claude-SearchBot i PerplexityBot oraz z jakim kodem odpowiedzi serwer im odpowiadał. Kod 403 przy tych botach znaczy, że coś je blokuje.
4. Zapytaj ChatGPT, Claude i Perplexity o swoją firmę albo usługę z włączonym wyszukiwaniem i sprawdź, czy wśród źródeł pojawia się Twoja strona.