Бесплатно · без регистрации
Соберите базовый robots.txt под вашу CMS и добавьте собственные правила.
Файл создаётся локально в браузере.
Как пользоваться инструментом
- Укажите домен и выберите CMS.
- Добавьте Sitemap и нужные правила Disallow или Allow.
- Скопируйте результат в файл robots.txt в корне сайта и проверьте его в панели вебмастера.
Что показывает результат
- базовые безопасные правила для популярных CMS;
- директивы User-agent, Disallow и Allow;
- адрес Sitemap;
- директиву Host для Яндекса, когда она нужна.
Конфиденциальность: Файл создаётся локально в браузере.
Частые вопросы
robots.txt удаляет страницу из поиска?
Не всегда. Запрет обхода не равен удалению URL из индекса. Для управляемого исключения используйте meta robots noindex на доступной роботу странице.
Где разместить файл?
По адресу https://ваш-домен/robots.txt, то есть в корневом каталоге сайта.
Нужно ли закрывать CSS и JavaScript?
Обычно нет. Поисковику нужны ресурсы для корректного рендеринга страницы.