robots.txt
robots.txt: prosty plik, który mówi automatom, co mogą czytać
robots.txt pomaga wyszukiwarkom, crawlerom i narzędziom AI zrozumieć, które części strony mogą odwiedzać. W raporcie Widać Mnie sprawdzamy, czy taki plik istnieje.
Co to jest
robots.txt to zwykły plik tekstowy dostępny najczęściej pod adresem /robots.txt, na przykład https://twojadomena.pl/robots.txt.
Plik nie jest zabezpieczeniem. To instrukcja dla dobrze zachowujących się robotów: gdzie mogą wejść, czego mają nie czytać i gdzie znajduje się mapa strony.
Dlaczego to ma znaczenie w raporcie
Jeśli pliku brakuje, narzędzia automatyczne mają mniej jasny sygnał, jak czytać stronę. Dla małej strony nie zawsze jest to katastrofa, ale jest to łatwy do naprawienia brak porządkowy.
Widać Mnie nie ocenia jeszcze pełnej treści robots.txt. Na tym etapie sprawdzamy, czy plik istnieje i czy strona daje podstawowy sygnał crawlerom.
Jak dodać
Utwórz plik robots.txt w katalogu publicznym strony, tak aby był dostępny pod /robots.txt.
Na start wystarczy prosta wersja: User-agent: * oraz Allow: /. Warto dodać też linię Sitemap: https://twojadomena.pl/sitemap.xml.
Jeśli używasz CMS-a, sprawdź ustawienia SEO albo wtyczkę SEO. W WordPressie często robi to wtyczka typu Yoast SEO, Rank Math albo ustawienia hostingu.
Jak sprawdzić
Wejdź w przeglądarce na https://twojadomena.pl/robots.txt. Jeśli widzisz plik tekstowy, pierwszy krok jest gotowy.
Sprawdź, czy plik nie blokuje całej strony wpisem Disallow: /. Taki zapis może utrudnić odczytanie strony przez wyszukiwarki i część narzędzi.
Najczęstsze błędy
Plik zwraca 404, bo nie został opublikowany w katalogu publicznym.
Plik istnieje tylko na wersji z www albo bez www, a druga wersja adresu przekierowuje inaczej.
robots.txt przypadkiem blokuje całą stronę albo ważne podstrony ofertowe.
Aktualizacja: 2026-07-02