Boty AI i llms.txt w polskich sklepach: badanie 296 sklepów

Najważniejsze wyniki

• Na 282 sklepy, w których odczytaliśmy robots.txt albo potwierdziliśmy jego brak, 48 (17,0%) blokuje co najmniej jednego bota AI. Każdy z nich blokuje co najmniej jedną nazwę z grupy treningowej.
• 46 z tych 48 sklepów blokuje trening i nie blokuje w całości żadnego ze sprawdzanych botów wyszukiwania ani pobierania na żądanie. Trzy z nich mają dla tych botów częściowe ograniczenia. Nie sprawdzaliśmy, czy boty faktycznie mają dostęp do sklepu ani czy sklep pojawia się w odpowiedziach.
• Wszystkie osiem nazw z grupy treningowej blokuje 12 sklepów (4,3%). Grupa obejmuje też Google-Extended i Applebot-Extended, które sterują wykorzystaniem danych, oraz dawną nazwę anthropic-ai.
• Boty wyszukiwania AI blokują 2 sklepy (0,7%). Według OpenAI blokada OAI-SearchBot wyklucza stronę z odpowiedzi wyszukiwania ChatGPT, choć mogą w nich zostać linki nawigacyjne. Nie mierzyliśmy, jak te dwa sklepy pojawiają się w odpowiedziach.
• Żaden sklep nie blokuje wszystkich robotów regułą User-agent: * z Disallow: /.
• Plik llms.txt ma 64 z 296 sklepów (21,6%). Kolejne 22 zwracają pod tym adresem kod 200, ale odpowiedź to strona HTML, reguły w formacie robots.txt, nieczytelne dane albo pusta treść.

Które boty sklepy blokują najczęściej

Tabela pokazuje, ile sklepów blokuje danego bota w całym serwisie: grupa z nazwą bota ma regułę Disallow: / i żadnego wyjątku Allow. Procenty liczone od 282 sklepów, w których odczytaliśmy robots.txt albo potwierdziliśmy jego brak. W tabeli jest 12 z 14 sprawdzanych botów: pominięte Claude-User i Perplexity-User blokuje po jednym sklepie. Wpis w robots.txt nie gwarantuje, że pobranie na żądanie użytkownika zostanie zablokowane.

Najczęściej blokowane są Bytespider, ClaudeBot, meta-externalagent, GPTBot i dawna nazwa anthropic-ai, wszystkie z grupy treningowej. Liczymy wpisy w robots.txt. Nie sprawdzaliśmy, czy każdy z tych botów nadal działa ani do czego używa pobranych treści. Boty wyszukiwania, które pobierają treści do odpowiedzi ChatGPT, Claude i Perplexity, blokują pojedyncze sklepy.

Zdecydowana większość sklepów nie wymienia botów AI z nazwy wcale: 213 z 282 nie ma w robots.txt żadnego z 14 sprawdzanych botów. Bot, który stosuje standard robots.txt, korzysta wtedy z grupy User-agent: *, jeśli plik ją ma. Pobrania na żądanie użytkownika mogą tych reguł nie przestrzegać.

Część blokad ustawia sieć CDN

W 12 z 48 sklepów blokujących boty AI reguły pochodzą z bloku zarządzanego przez Cloudflare, czyli dopisało je ustawienie w panelu sieci CDN. Linie Content-Signal, które Cloudflare dodaje do robots.txt, ma 16 sklepów.

Jeden z dwóch sklepów, które wycinają boty wyszukiwania AI, ma też blok zarządzany przez Cloudflare. Zakazy dla OAI-SearchBot i Claude-SearchBot stoją jednak poza tym blokiem, w osobnej sekcji pliku. Deklaracja search=yes według Cloudflare dotyczy zwykłych wyników wyszukiwania i nie obejmuje odpowiedzi generowanych przez AI. Warto co jakiś czas otworzyć własny robots.txt i porównać go z ustawieniami w panelu CDN.

llms.txt w sklepach

64 sklepy zwracają treść, którą nasz skrypt uznał za llms.txt, w tym duże sieci, na przykład Rossmann, MediaMarkt i Biedronka Home. Nie sprawdzaliśmy, czy wszystkie te pliki są poprawne. Wyniku nie należy porównywać wprost z innymi badaniami, bo różnią się doborem próby i sposobem wykrywania pliku.

Kilka obserwacji o jakości plików:

• 16 sklepów zwraca pod adresem /llms.txt stronę HTML (stronę błędu albo przekierowanie na stronę główną) z kodem 200, a 2 kolejne pustą odpowiedź. Narzędzie, które sprawdza sam kod odpowiedzi, policzyłoby je jako sklepy z plikiem.
• 3 sklepy zwracają pod tym adresem dwie linie w formacie robots.txt: User-agent: * i Allow: /.
• 9 plików zaczyna się identycznie i ma podobną długość. Wyglądają na wygenerowane tym samym narzędziem albo wtyczką.
• 25 sklepów ma llms.txt i jednocześnie blokuje boty treningowe. Te dwie decyzje się nie wykluczają: llms.txt niczego nie blokuje ani na nic nie zezwala.

Pamiętaj, że samo opublikowanie llms.txt nie gwarantuje, że asystenci użyją go w odpowiedziach. Google pisze, że jego wyszukiwarka te pliki ignoruje. Więcej w tekście llms.txt i boty AI: co ustawić.

Co z tego wynika dla Twojego sklepu

1. Sprawdź, czy nie blokujesz botów wyszukiwania: OAI-SearchBot, Claude-SearchBot i PerplexityBot. Ich blokada ogranicza dostęp do treści i może zmniejszyć widoczność sklepu w odpowiedziach asystentów.
2. Jeśli korzystasz z Cloudflare, porównaj ustawienia botów w panelu z tym, co faktycznie jest w robots.txt.
3. Blokada botów treningowych to Twoja decyzja. Większość sklepów z próby jej nie stosuje. Prawie wszyscy, którzy ją stosują, zostawiają boty wyszukiwania.
4. Jeśli masz llms.txt, sprawdź, czy pod tym adresem jest plik tekstowy. Mniej więcej co piąty sklep, który zwracał pod /llms.txt kod 200, podawał tam stronę HTML.

Metoda i ograniczenia

Próba. 27 października 2026 roku pobraliśmy TOP10 wyników Google (Polska, język polski) dla 59 wybranych zapytań produktowych z różnych kategorii, od butów do biegania po nasiona. Z wyników wybraliśmy serwisy, które same sprzedają online. Wykluczyliśmy porównywarki cen, platformy sprzedażowe, media, blogi, fora i strony producentów bez sprzedaży. Każdą decyzję zapisaliśmy z powodem. Wstępnie wyszło 298 serwisów. Przy kontroli 29.10.2026 usunęliśmy dwa z nich, porównywarkę ofert telefonii i serwis zbierający oferty innych sklepów, i przeliczyliśmy wyniki. Zostało 296 sklepów.

Pomiar. Dla każdego sklepu pobraliśmy tylko dwa publiczne pliki: /robots.txt i /llms.txt. Reguły robots.txt analizowaliśmy według standardu RFC 9309 (grupy User-agent, reguły Disallow i Allow) dla 14 botów: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Applebot-Extended i meta-externalagent. Linie takie jak Crawl-delay nie dzielą grupy. Pierwsza wersja skryptu je dzieliła; poprawka z 29.10.2026 dodała jeden sklep blokujący GPTBot i ClaudeBot. Za llms.txt uznawaliśmy odpowiedź z kodem 200 z niepustą, czytelną treścią, bez oznaczenia HTML w treści i w nagłówku Content-Type i bez początku User-agent. Nie sprawdzaliśmy pełnej zgodności ze specyfikacją.

Ograniczenia.

• Próba jest celowa: to sklepy widoczne w TOP10 na wybrane frazy jednego dnia. Nie mierzyliśmy wielkości firm ani ich działań SEO. Wyniki opisują tę grupę i nie dotyczą wszystkich polskich sklepów.
• Dla 14 sklepów nie odczytaliśmy robots.txt: 9 zwróciło kod 403, 2 kod 503, a w 3 wystąpił błąd połączenia. Nie obchodziliśmy zabezpieczeń, więc te sklepy nie są wliczone do procentów dla botów.
• Robots.txt to deklaracja. Badanie nie mierzy blokad ustawionych na serwerze, w CDN albo w zaporze, które mogą działać niezależnie od pliku.
• Stan na 27.10.2026. Pliki zmieniają się często.

Badanie powtórzymy, żeby pokazać, jak zmieniają się te liczby. Nie podajemy nazw sklepów, które blokują boty, bo badanie opisuje zjawisko w całej grupie.