Plik robots.txt: co blokuje, czego nie blokuje i jak go ustawić

Plik robots.txt w skrócie

Plik robots.txt to zwykły plik tekstowy w głównym katalogu domeny, na przykład twojadomena.pl/robots.txt. Mówi robotom wyszukiwarek, których adresów nie powinny pobierać. Google pisze wprost, że służy głównie do tego, żeby roboty nie przeciążały serwera, i że nie jest sposobem na ukrycie strony przed Google.

Robots.txt blokuje więc tylko skanowanie. Indeksowania nie blokuje: jeśli do zablokowanej strony prowadzą linki, Google może ją pokazać w wynikach, tylko bez opisu. Żeby strona zniknęła z wyników, potrzebujesz tagu noindex albo ochrony hasłem.

Jak wygląda i jak działa plik robots.txt

Plik składa się z grup reguł. Każda grupa zaczyna się od nazwy robota (User-agent), po niej są reguły Disallow (nie pobieraj) i Allow (pobieraj). Przykład:

User-agent: *
Disallow: /koszyk/
Disallow: /*?sort=
Allow: /koszyk/pomoc/

Sitemap: https://twojadomena.pl/sitemap.xml

Ten plik mówi wszystkim robotom: nie pobierajcie koszyka ani adresów, w których parametr sort stoi zaraz po znaku zapytania, ale stronę pomocy w koszyku możecie. Żeby objąć też adresy typu ?kolor=czarny&sort=cena, dopisz regułę Disallow: /*&sort=. Ostatnia linia wskazuje mapę witryny. Kilka zasad z dokumentacji Google, które warto sprawdzić przed publikacją pliku:

• plik działa tylko dla hosta, protokołu i portu, na którym leży, więc sklep.twojadomena.pl potrzebuje własnego pliku;
• wielkość liter w ścieżkach ma znaczenie: /Koszyk/ i /koszyk/ to różne adresy;
• gwiazdka * zastępuje dowolny ciąg znaków, a $ oznacza koniec adresu;
• gdy reguły się wykluczają, wygrywa ta z dłuższą ścieżką, a przy remisie ta mniej restrykcyjna;
• Google czyta pierwsze 500 KiB pliku i zwykle trzyma jego kopię do 24 godzin, więc zmiana nie działa od razu;
• reguły crawl-delay Google nie obsługuje, a noindex w robots.txt też nie.

Liczy się też odpowiedź serwera. Gdy plik zwraca błąd 404, Google traktuje to jak brak ograniczeń. Gdy serwer zwraca błąd 5xx, Google przez pierwsze 12 godzin wstrzymuje skanowanie całej witryny, a potem przez 30 dni korzysta z ostatniej poprawnej kopii. Jeśli kopii nie ma, uznaje, że ograniczeń nie ma. Awaria serwera przy robots.txt potrafi więc zatrzymać skanowanie wszystkich stron.

Robots.txt jest prośbą do robotów. Standard RFC 9309 zaznacza, że reguły nie są formą kontroli dostępu, a Google przypomina, że każdy robot sam decyduje, czy się do nich zastosuje. Dane, które mają być prywatne, chroń hasłem. Jak ustawić reguły dla robotów firm od AI, opisujemy osobno w tekście o llms.txt i botach AI.

robots.txt, meta robots i X-Robots-Tag: co wybrać

Do sterowania tym, co jest w wynikach Google, służą dwa inne narzędzia. Meta tag robots wstawiasz w sekcji head strony:

<meta name="robots" content="noindex">

Ten sam efekt daje nagłówek HTTP, który ustawia się na serwerze. Przydaje się dla plików, w których nie ma kodu HTML, na przykład PDF:

X-Robots-Tag: noindex

Podstawowe reguły to noindex (nie pokazuj strony w wynikach), nofollow (nie podążaj za linkami na tej stronie) i none, czyli oba naraz. Jeśli na stronie są sprzeczne reguły, Google stosuje bardziej restrykcyjną.

Dlaczego Disallow i noindex razem nie działają

Ten błąd zdarza się przy usuwaniu stron z Google. Ktoś dodaje do strony noindex, a dla pewności blokuje ją też w robots.txt. Skutek jest odwrotny do zamierzonego: Googlebot nie może pobrać strony, więc nigdy nie zobaczy tagu noindex. Strona może zostać w indeksie, jeśli prowadzą do niej linki. Pomoc Search Console mówi o tym wprost: blokada w robots.txt sprawia, że dyrektywa noindex staje się niewidoczna dla Google.

Jak poprawnie usunąć stronę z wyników:

1. Usuń regułę Disallow, która obejmuje stronę.
2. Dodaj meta tag noindex albo nagłówek X-Robots-Tag: noindex.
3. Sprawdź stronę w narzędziu do sprawdzania adresów URL i poproś o ponowne zindeksowanie, żeby Googlebot szybciej zobaczył tag. Jeśli narzędzie nie przyjmie prośby, poczekaj na ponowne skanowanie.
4. Gdy strona zniknie z wyników, zostaw noindex. Blokadę w robots.txt dodawaj z powrotem tylko wtedy, gdy masz powód oszczędzać skanowanie, i licz się z tym, że adres może wtedy wrócić do wyników bez opisu.

Jeśli strona musi zniknąć szybko, Search Console ma narzędzie do usuwania. Ukrywa adres tylko na około 6 miesięcy, więc w tym czasie wprowadź trwałe rozwiązanie: noindex, ochronę hasłem albo usunięcie strony z kodem 404 lub 410.

Robots.txt w WordPressie: gdzie go znaleźć i jak edytować

W WordPressie plik robots.txt często nie istnieje na serwerze, a mimo to adres twojadomena.pl/robots.txt działa. To plik wirtualny, który WordPress generuje sam, gdy w katalogu głównym nie ma prawdziwego pliku. Domyślnie wygląda tak (w publicznej witrynie WordPress od wersji 5.5 dopisuje jeszcze linię Sitemap z adresem swojej mapy witryny):

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Plik tworzony przez Yoast SEO zastępuje domyślną treść: pozwala pobierać całą witrynę i wskazuje mapę witryny wtyczki. Edytować plik możesz na dwa sposoby:

• przez wtyczkę SEO. W Yoast SEO edytor jest w narzędziach wtyczki (w angielskiej wersji: Tools, File editor). Wtyczka może utworzyć prawdziwy plik, a menu znika, gdy edycja plików w WordPressie jest wyłączona;
• przez FTP albo menedżer plików na serwerze. Wgrywasz plik robots.txt do katalogu głównego. Od tej chwili serwer pokazuje ten plik, a wersja wirtualna przestaje być używana.

Osobna sprawa to opcja w Ustawienia, Czytanie, w sekcji „Widoczność w wyszukiwarkach”: pole „Proś wyszukiwarki o nieindeksowanie witryny”. Od wersji 5.3 WordPress nie zmienia wtedy robots.txt, tylko dodaje do każdej strony meta tag noindex,nofollow. Strony z tym tagiem wypadają z Google, gdy robot je ponownie odczyta. Tagu nie dostają pliki PDF ani obrazy, które serwer wysyła bezpośrednio. Zdarza się, że pole zostaje zaznaczone po pracach na wersji testowej. Jeśli strona po wdrożeniu nie pojawia się w Google, sprawdź je w pierwszej kolejności.

Statusy w Search Console i co z nimi zrobić

W raporcie Indeksowanie stron zobaczysz trzy statusy związane z tym tematem. Każdy wymaga innej reakcji.

„Strona zindeksowana, ale zablokowana przez plik robots.txt”

To ostrzeżenie. Google nie pobrał strony, bo zabrania tego robots.txt, ale dodał ją do indeksu na podstawie linków z innych stron. W wynikach pojawia się bez opisu. Najpierw zdecyduj, czy ta strona ma być w Google:

• jeśli tak, usuń regułę Disallow, która ją blokuje;
• jeśli nie, usuń regułę Disallow i dodaj noindex, tak jak w krokach powyżej.

„URL zawiera tag „noindex””

Poradniki opisują ten status także jako „Wykluczono za pomocą tagu 'noindex'”. Google pobrał stronę, zobaczył noindex i jej nie zindeksował. Jeśli to strona logowania, koszyk albo podziękowanie po wysłaniu formularza, wszystko działa. Jeśli na liście jest strona usługi albo produkt, znajdź źródło tagu: ustawienie wtyczki SEO dla wpisu lub typu treści, opcję widoczności w WordPressie albo nagłówek z serwera. W narzędziu do sprawdzania adresów URL kliknij „Sprawdź URL wersji opublikowanej” i zobacz, czy indeksowanie jest dozwolone. Po usunięciu tagu kliknij „Poproś o zindeksowanie”.

„URL zablokowany przez plik robots.txt”

Strona nie jest w indeksie i Google jej nie pobiera. Jeśli to celowe, nic nie rób. Jeśli to ważna strona, usuń regułę, która ją obejmuje. Szerzej o tym i innych przyczynach piszemy w tekście Google nie indeksuje strony.

Jak sprawdzić plik robots.txt w Search Console

Do osobnego testera robots.txt, znanego ze starszych poradników, odsyła pomoc raportu Indeksowanie stron, po polsku i po angielsku (stan na październik 2026). Do sprawdzania pliku pomoc raportu robots.txt wskazuje dwa narzędzia:

• raport dotyczący pliku robots.txt w ustawieniach usługi. W usłudze domeny pokazuje pliki znalezione dla 20 głównych hostów, czas ostatniej próby pobrania, rozmiar i problemy. Stan „Pobrano” oznacza, że Google odczytał plik. Po ważnej zmianie albo naprawie błędu wybierz przy pliku „Więcej ustawień” i „Poproś o ponowne zindeksowanie”;
• narzędzie do sprawdzania adresów URL. Wklejasz adres konkretnej strony i sprawdzasz, czy robots.txt pozwala go pobrać.

Przed publikacją zmian sprawdź też plik w przeglądarce. Jedna reguła Disallow: / pod User-agent: * blokuje całą witrynę wszystkim robotom, które przestrzegają robots.txt i nie mają w pliku własnej grupy.