Odpowiedź HTTP i HTML: czy automat może przeczytać stronę

Na początku raport sprawdza, czy strona odpowiada poprawnym statusem HTTP i czy zwraca treść HTML, którą można przeanalizować bez specjalnych uprawnień.

Jeżeli strona zwraca błąd, blokadę, plik zamiast HTML albo zbyt ciężką odpowiedź, dalsza analiza ma mniej wiarygodne dane wejściowe.

Modele i narzędzia wyszukujące potrzebują tekstu, który da się pobrać i zrozumieć. Jeśli podstawowy crawler nie może wejść na stronę, AI może opierać się na starszych albo obcych źródłach.

Nie każdy błąd HTTP oznacza katastrofę, ale jest to sygnał, że warto sprawdzić hosting, przekierowania, blokady botów i konfigurację strony.

Sprawdź w przeglądarce i narzędziach developerskich, jaki status zwraca strona główna oraz ważne podstrony ofertowe.

Upewnij się, że publiczne strony ofertowe zwracają HTML, nie wymagają logowania i nie blokują normalnych robotów tylko dlatego, że nie wykonują JavaScriptu.

Jeżeli problem dotyczy pojedynczej podstrony, popraw linkowanie, przekierowanie albo odpowiedź serwera dla tego adresu.

Otwórz stronę w przeglądarce i w narzędziach developerskich sprawdź status odpowiedzi oraz nagłówek content-type.

Dla najważniejszych podstron ofertowych powtórz test bez logowania i bez parametrów w adresie. Strona powinna zwracać publiczny HTML.

Strona zwraca przekierowanie w pętli, błąd 403 albo ekran zabezpieczenia zamiast normalnej treści.

Serwer wysyła plik, JSON albo pustą odpowiedź tam, gdzie powinna być publiczna strona HTML.

Wybrana podstrona istnieje tylko po stronie aplikacji JavaScript i nie daje czytelnego HTML na starcie.