n1ro°
RU

Справочники / Интернет и сети · Компьютеры

Генератор robots.txt

Соберите простой robots.txt из User-agent, списка Disallow и необязательного Sitemap.

Как получается результат

Формируется группа User-agent и отдельная директива Disallow для каждого непустого пути. Sitemap добавляется отдельной строкой как широко поддерживаемая дополнительная запись.

Пример

User-agent: * + Disallow: /admin/ + Sitemap: https://example.com/sitemap.xml.

Ограничения

Генератор не проверяет доступность URL, не гарантирует удаление страниц из индекса и не заменяет аутентификацию. robots.txt управляет обходом поддерживающими протокол роботами.

Источники

Проверено: · Актуальность: 14.09.2026 · Редакция N1RO

Нашли ошибку? Сообщить