AEO · crawlery
robots.txt dla crawlerów AI — dobre praktyki
robots.txt jest deklaracją dostępu, nie gwarancją indeksacji ani cytowania. Powinien jasno opisywać politykę wobec wyszukiwarek i crawlerów AI.
Aktualizacja: 2026-08-27
Co sprawdzić
Nie blokuj przez przypadek publicznych stron i sitemap. Jeśli firma ma osobną politykę dla crawlerów treningowych i wyszukujących, zapisz ją jawnie i regularnie przeglądaj.
Granice pliku
robots.txt nie zastępuje robots meta, canonicali, sitemap ani jakości treści. Zezwolenie na crawl nie oznacza, że każda strona zostanie wykorzystana.
Najważniejsze punkty
Dostęp nie równa się indeksacji.
Polityka powinna być udokumentowana.
Sprawdzaj skutki zmian w logach.
Najczęstsze pytanie
Czy robots.txt wymusza cytowanie strony?
Nie. Określa dostęp crawlera, ale nie decyduje o rankingu ani o tym, czy system przytoczy treść.