К содержимому

Проверки / Интернет и сети · Windows / Linux / ПО

robots.txt: проверка доступа для пути

Локально проверьте Allow/Disallow для user-agent и URL path по вставленному robots.txt (longest match).

Как получается результат

Группы User-agent; matching Allow/Disallow с longest match (Google/RFC 9309 style).

Пример

UA Googlebot, path /private/x при Disallow: /private/

Ограничения

Без live-fetch; не прогноз индексации. Не генератор robots.txt.

Источники

RFC 9309 / Google robots.txt documentation

Проверено: 14.09.2026 · Актуальность: 14.09.2026 · Редакция N1RO

Нашли ошибку? Сообщить