Титло
Технический SEO и индексацияСинонимы: Disallow, robots txt disallow, disallow robots.txt, директива Disallow в robots.txt, запрет Disallow

Что такое директива Disallow в robots.txt

Обновлено Время чтения: 35 мин

Коротко

Директива Disallow — это инструкция в файле robots.txt, которая запрещает поисковым роботам обходить указанные адреса сайта: отдельные страницы, разделы, файлы или URL с параметрами. Правило записывается после строки User-agent и действует для тех роботов, к которым относится эта группа. Disallow управляет сканированием, но не гарантирует исключение страницы из индекса: для этого используют мета-тег robots с noindex или заголовок X-Robots-Tag.

Что такое Disallow простыми словами

Disallow в переводе с английского — «запрещать». В файле robots.txt это главная директива, с помощью которой владелец сайта говорит поисковым роботам: сюда заходить не нужно. Так можно закрыть служебные разделы, личный кабинет, корзину, результаты поиска по сайту, страницы с параметрами и другие адреса, которые не должны тратить время робота и попадать в поиск.

Файл robots.txt находится в корне сайта по адресу site.ru/robots.txt. Перед тем как начать сканирование, поисковый робот загружает этот файл и читает правила. Каждая группа правил начинается со строки User-agent, где указано имя робота, а за ней идут строки Disallow и Allow с путями, которые запрещено или разрешено сканировать.

Основные директивы robots.txt
Директива Что делает Пример
User-agent указывает, к какому роботу относятся правила User-agent: Yandex
Disallow запрещает сканирование адресов, которые начинаются с указанного пути Disallow: /admin/
Allow разрешает сканирование адресов внутри закрытого раздела Allow: /catalog/public/
Sitemap указывает путь к карте сайта Sitemap: https://site.ru/sitemap.xml
Clean-param склеивает адреса с незначащими параметрами для Яндекса Clean-param: utm_source /catalog/
Crawl-delay задавал паузу между запросами робота, сейчас поисковики его не учитывают Crawl-delay: 2

Важно

Disallow управляет сканированием, а не индексацией. Если на закрытую страницу ведут ссылки с других сайтов, поисковик может показать её адрес в выдаче без описания, даже не заходя на неё.

Директива Host раньше указывала Яндексу главное зеркало сайта, но сейчас она не используется: главное зеркало определяется по 301 редиректу и настройкам в Яндекс Вебмастере.

Синтаксис Disallow

Правило Disallow записывается в отдельной строке: название директивы, двоеточие и путь. Путь начинается с косой черты и сравнивается с началом адреса страницы. Регистр в пути имеет значение: /Catalog/ и /catalog/ — разные адреса.

Как работают пути в Disallow
Запись Что запрещает Что остаётся доступным
Disallow: ничего, пустое значение разрешает сканирование всего сайта весь сайт
Disallow: / весь сайт для указанного робота ничего
Disallow: /admin/ все адреса, которые начинаются с /admin/ /administrator, /admin без слеша
Disallow: /admin /admin, /admin/, /administrator и все похожие адреса адреса, которые начинаются иначе
Disallow: /*.pdf$ все файлы PDF страницы HTML
Disallow: /*?sort= адреса с параметром сортировки те же страницы без параметра
Disallow: /page$ только адрес /page /page/ и /page-2

В правилах можно использовать два специальных символа. Звёздочка * означает любую последовательность символов, а знак доллара $ — конец адреса. По умолчанию в конце каждого правила как будто стоит звёздочка, поэтому Disallow: /blog запрещает и /blog, и /blog/, и /blog-news.

  • Одна директива — одна строка, одно значение
  • Путь всегда начинается с символа /
  • Комментарии пишут после символа #
  • Пустая строка разделяет группы правил для разных роботов
  • Файл должен быть в кодировке UTF-8 и отдавать код ответа 200

Ошибка

Писать несколько путей в одной строке через пробел или запятую. Робот поймёт такое правило неправильно или проигнорирует его. Каждый запрет записывается отдельной строкой Disallow.

Спецсимволы * и $ в правилах Disallow

Стандарт robots.txt изначально описывал только простое сравнение начала адреса. Позже Яндекс и Google добавили поддержку двух специальных символов, и сейчас их используют почти в каждом файле. Регулярные выражения в привычном для разработчика виде robots.txt не поддерживает: нельзя задать диапазон букв, группу символов или условие «или». Есть только звёздочка и знак доллара, и этого достаточно, чтобы корректно описать большинство ситуаций.

Как работают * и $
Правило Что блокирует Что не блокирует
Disallow: /*?utm_ любые адреса с параметром utm_ в начале строки запроса /catalog/?page=2
Disallow: /*sessionid= адреса с идентификатором сессии в любом месте страницы без параметра
Disallow: /*.doc$ файлы, адрес которых заканчивается на .doc /files/doc/ и /doc-list
Disallow: /catalog/*/reviews/ отзывы в любой категории каталога саму категорию и карточки
Disallow: /*/print/ версии для печати во всех разделах обычные страницы
Disallow: /search$ только адрес /search /search/?q=telefon

Обратите внимание на несколько особенностей. Звёздочка в конце правила не нужна: она подразумевается по умолчанию, и запись Disallow: /blog* работает так же, как Disallow: /blog. Знак $ отменяет эту звёздочку и требует точного соответствия концу адреса. Если нужно заблокировать файлы определённого формата, правило без $ закроет больше, чем необходимо: Disallow: /*.php заблокирует и /index.php?id=1, и /page.php5.

  • Звёздочка * заменяет любую последовательность символов, включая пустую
  • Знак $ означает конец адреса, после него не должно быть других символов
  • Символ # начинает комментарий, всё после него робот не читает
  • Пробелы внутри пути недопустимы, кириллические адреса записывают в кодировке Punycode или URL-кодировке

Ошибка

Писать правило вида Disallow: *utm без косой черты в начале. Некоторые роботы обработают такую строку, а некоторые проигнорируют. Путь в Disallow всегда начинается с символа / или со звёздочки после него: /*utm_.

Кириллические адреса — распространённая проблема при написании правил. Если на сайте есть страницы вида /каталог/, робот сравнивает правило с закодированным адресом. Поэтому в файл лучше добавлять пути в той же форме, в которой они отображаются в логах сервера и в отчётах Вебмастера, а для домена на кириллице указывать в директиве Sitemap адрес в Punycode.

Термины robots.txt: перевод и значение

Синтаксис robots.txt пришёл из англоязычного стандарта, поэтому названия директив пишут на английском языке. Чтобы правильно описать правила, полезно понимать перевод основных терминов.

Основные термины и их перевод
Термин Перевод Что определяет
User-agent пользовательский агент имя робота, для которого указывается группа правил
Disallow запретить путь, который робот не должен сканировать
Allow разрешить исключение внутри закрытого раздела
Sitemap карта сайта полный адрес файла со списком страниц
Clean-param очистить параметр параметры, которые не меняют содержание страницы
Crawl-delay задержка обхода интервал между запросами робота в секундах, сейчас игнорируется
Host хост раньше указывал главное зеркало для Яндекса, сейчас не используется

Названия директив робот читает без учёта регистра: disallow и Disallow считаются одинаковыми. А вот в пути заглавные буквы важны, и правило Disallow: /Admin/ не закроет адрес /admin/. Не забывайте об этом, если на сайте встречаются адреса с заглавными буквами, например после переноса со старой CMS.

Эти инструкции понимают все крупные системы. Директива Crawl-delay раньше помогала снизить нагрузку на сервер, но Google её никогда не поддерживал, а Яндекс перестал учитывать. Скорость обхода сейчас настраивают в Вебмастере в разделе управления скоростью обхода, а для Google она определяется автоматически по тому, как быстро отвечает сервер.

Disallow и User-agent: правила для разных роботов

Правила Disallow всегда относятся к группе, которая начинается со строки User-agent. Символ * означает всех роботов, а конкретное имя — отдельного бота. Робот выбирает самую подходящую группу: если есть отдельная группа для Yandex, он будет следовать только ей и не будет читать правила для всех.

Примеры групп User-agent
Запись Для кого правила Комментарий
User-agent: * для всех роботов общие правила, если нет отдельной группы
User-agent: Yandex для всех роботов Яндекса основной робот, картинки, видео и другие
User-agent: Googlebot для основного робота Google отдельно есть роботы для картинок и рекламы
User-agent: GPTBot для бота OpenAI можно запретить использование контента для обучения
User-agent: AhrefsBot для робота сервиса анализа ссылок часто закрывают, чтобы снизить нагрузку

Ошибка

Создать отдельную группу для Яндекса и забыть продублировать в ней общие запреты. Робот Яндекса будет читать только свою группу, и правила из User-agent: * для него перестанут действовать.

Поэтому если вы делаете отдельные правила для Яндекса и Google, полностью повторите в каждой группе все нужные запреты, а не только отличающиеся строки.

Disallow и Allow

Директива Allow работает в паре с Disallow и разрешает сканирование отдельных адресов внутри закрытого раздела. Например, можно закрыть весь раздел личного кабинета, но открыть страницу с условиями регистрации.

Disallow

Запрещает сканирование адресов, которые начинаются с указанного пути. Используется для служебных разделов, дублей, параметров.

Allow

Разрешает сканирование адресов, даже если они попадают под Disallow. Используется для исключений внутри закрытых разделов.

Когда для одного адреса подходят оба правила, Яндекс и Google выбирают более длинное, то есть более конкретное правило. Если правила одинаковой длины, приоритет получает Allow. Порядок строк в файле при этом не важен.

Как разрешается конфликт
Правила Адрес Результат
Disallow: /catalog/ и Allow: /catalog/shoes/ /catalog/shoes/boots/ разрешено, Allow длиннее
Disallow: /catalog/ и Allow: /catalog/shoes/ /catalog/bags/ запрещено
Disallow: /*? и Allow: /*?page= /catalog/?page=2 разрешено
Disallow: /*? и Allow: /*?page= /catalog/?sort=price запрещено
Disallow: /bitrix/ и Allow: /bitrix/*.css /bitrix/templates/main.css разрешено

Совет

Проверяйте каждое сложное правило в инструменте анализа robots.txt в Яндекс Вебмастере: вставьте файл и список адресов, и сервис покажет, какие страницы разрешены, а какие запрещены.

Приоритет правил: самое длинное совпадение

Когда для одного адреса подходят несколько правил Disallow и Allow, робот не читает файл сверху вниз и не применяет первое попавшееся правило. Яндекс и Google сортируют правила по длине пути и применяют самое длинное, то есть самое конкретное. Если длина одинаковая, побеждает Allow. Такой подход описан в руководстве Google и в справке Яндекса, его поддерживают и Bing, и большинство других поисковых систем.

  1. Находит все правила Disallow и Allow, которые совпадают с началом адреса

  2. Сравнивает длину путей с учётом символов * и $

  3. Применяет самое длинное правило, при равной длине — Allow

  4. Решает, сканировать адрес или нет

Робот загружает robots.txt и выбирает группу User-agent, которая соответствует его имени
Разбор примеров приоритета
Правила в группе Адрес Итог
Allow: /blog/ и Disallow: /blog/draft/ /blog/draft/novaya-statya/ запрещено, Disallow длиннее
Disallow: /shop/ и Allow: /shop/sale/ /shop/sale/kurtki/ разрешено, Allow длиннее
Disallow: /page и Allow: /page /page-2 разрешено, длина равна, приоритет у Allow
Disallow: / и Allow: /$ главная страница / разрешено, открыта только главная
Disallow: /*.pdf$ и Allow: /docs/price.pdf /docs/price.pdf разрешено, исключение для одного файла

Это правило помогает решать сложные задачи без длинного списка запретов. Например, если нужно закрыть все страницы, кроме главной, достаточно двух строк: Disallow: / и Allow: /$. А чтобы открыть одну папку внутри закрытой директории, добавьте для неё Allow с более полным путём.

Совет

Раньше Яндекс учитывал порядок строк, и в старых руководствах можно встретить совет ставить Allow выше Disallow. Сейчас порядок не имеет значения, и в случае конфликта решает только длина пути, но размещать исключения рядом с запретами всё равно удобно: так проще читать файл и избежать ошибки при следующем обновлении.

Что закрывать через Disallow

Директиву Disallow используют, чтобы робот не тратил время на страницы, которые не нужны в поиске, и быстрее находил важные разделы. Особенно это важно для крупных сайтов и интернет-магазинов, где без правильных запретов появляются тысячи мусорных адресов.

Что обычно закрывают
Раздел Пример правила Почему
Служебные разделы CMS Disallow: /bitrix/ или Disallow: /wp-admin/ в них нет полезного контента
Личный кабинет и корзина Disallow: /personal/ и Disallow: /cart/ персональные данные и динамические страницы
Поиск по сайту Disallow: /search/ бесконечные варианты страниц с результатами
Сортировки и фильтры Disallow: /*?sort= дубли каталога с другим порядком товаров
UTM-метки и параметры рекламы Disallow: /*utm_ дубли посадочных страниц из рекламы
Версии для печати Disallow: /*print= копии основных страниц
Страницы регистрации и входа Disallow: /login/ не нужны в поиске
Тестовые и временные разделы Disallow: /test/ недоработанный контент

Не стоит закрывать в Disallow страницы, которые должны быть в поиске, а также файлы CSS, JavaScript и изображения, которые нужны для отображения страниц. Если закрыть стили и скрипты, поисковик не сможет правильно оценить, как выглядит страница на мобильных устройствах.

Для адресов с UTM-метками и параметрами в Яндексе удобнее использовать директиву Clean-param: она не просто запрещает сканирование, а склеивает такие адреса с основной страницей и передаёт ей сигналы.

Фильтры, сортировки и UTM-метки: как закрыть параметры

Адреса с параметрами — главный источник дублированного контента. Один и тот же список товаров открывается по десяткам адресов: с сортировкой по цене, с фильтром по бренду, с разным количеством товаров на странице, с UTM-метками из рекламных кампаний и рассылок. Робот видит в них разные страницы с одинаковым содержанием и тратит на их обход время, которое мог бы потратить на новые карточки.

Закрыть в Disallow

Подходит для параметров, которые никогда не нужны в поиске: сессии, сортировки, служебные метки, страницы печати. Робот не заходит на такие адреса и не тратит на них ресурс.

Склеить через Clean-param

Подходит для UTM-меток и меток рекламных систем в Яндексе. Робот понимает, что адрес с меткой — та же страница, и передаёт сигналы основному адресу.

Указать canonical

Подходит для фильтров и сортировок, которые нужны людям, если важно сохранить внутренние ссылки и поведенческие сигналы. Страница доступна роботу, но в индекс попадает основная версия.

Для параметров, которые идут в адресе первыми, правило пишут со знаком вопроса, а для тех, что могут стоять в середине, — с амперсандом. Чтобы не перечислять оба варианта, используют звёздочку с названием параметра и знаком равенства.

Типовые правила для параметров
Параметр Правило Disallow Комментарий
сортировка Disallow: /*sort= закрывает ?sort= и &sort=
количество товаров Disallow: /*limit= дубли категорий с разным количеством
идентификатор сессии Disallow: /*sid= бесконечное число одинаковых адресов
метки рекламы Disallow: /*utm_ для Google, для Яндекса лучше Clean-param
метки Директа и Яндекс Метрики Disallow: /*yclid= дубли посадочных страниц из рекламы
метки Google Ads Disallow: /*gclid= то же для рекламы Google
фильтры каталога Disallow: /*filter= если фильтры не продвигаются

Важно

Прежде чем закрыть фильтры, проверьте спрос. Посмотрите в Wordstat, есть ли запросы вида «кроссовки женские белые» или «диван угловой серый». Если такие запросы есть, страницы фильтров лучше превратить в посадочные с ЧПУ и открыть для индексации, а в Disallow закрывать только технические комбинации.

Отдельная ситуация — пагинация. Страницы вида ?page=2 нужны роботу, чтобы найти товары из глубины каталога. Если в файле есть общее правило Disallow: /*?, добавьте исключение Allow: /*?page= или Allow: /*?PAGEN_, иначе карточки, на которые ведут только страницы пагинации, будут индексироваться медленно или не попадут в поиск совсем.

Директива Clean-param в Яндексе

Clean-param — директива, которую поддерживает только Яндекс. Она сообщает роботу, что определённые параметры в адресе не влияют на содержание страницы: метки рекламы, идентификаторы сессий, источники перехода, cookie-метки партнёрских программ. Робот перестаёт загружать дубли и считает основным адрес без этих параметров. В отличие от Disallow, Clean-param не просто блокирует обход, а помогает передать сигналы с адресов-дублей основной странице.

Синтаксис директивы: сначала названия параметров через символ &, затем через пробел — префикс пути, для которого действует правило. Если префикс не указан, правило применяется ко всему сайту.

Примеры Clean-param
Запись Что делает
Clean-param: utm_source&utm_medium&utm_campaign склеивает адреса с UTM-метками на всём сайте
Clean-param: sid /forum/ убирает идентификатор сессии в разделе форума
Clean-param: ref&from /catalog/ склеивает адреса с метками источника в каталоге
Clean-param: yclid&gclid игнорирует метки рекламных систем
  • Директиву можно указывать в любом месте файла, Яндекс учитывает её независимо от группы User-agent
  • В одной строке можно перечислить несколько параметров через &
  • Длина правила ограничена, поэтому длинные списки лучше разбить на несколько строк
  • Google директиву Clean-param не поддерживает и проигнорирует её, поэтому для него используют canonical

Совет

Для UTM-меток в Яндексе Clean-param работает эффективнее, чем Disallow: /*utm_. Сигналы от переходов по рекламным ссылкам и рассылкам не теряются, а в индекс попадает чистый адрес посадочной страницы.

Если на сайте есть параметры, назначение которых сложно определить, посмотрите отчёт о страницах в поиске в Вебмастере. Там видно, какие адреса с параметрами робот уже нашёл, и можно описать правило Clean-param только для тех параметров, которые действительно создают дубли.

Disallow, noindex и canonical: в чём разница

Disallow часто путают с запретом индексации. Но это разные инструменты, и они решают разные задачи.

Сравнение способов закрыть страницу
Инструмент Что делает Когда использовать
Disallow в robots.txt запрещает сканирование, робот не заходит на страницу служебные разделы, параметры, экономия краулингового бюджета
Мета-тег robots с noindex разрешает сканирование, запрещает показ в поиске страницы, которые нужно убрать из индекса
X-Robots-Tag то же, что noindex, но в HTTP-заголовке файлы PDF, изображения, документы
Canonical указывает основную версию из группы похожих страниц дубли, которые нужны пользователям
Пароль или код 404 закрывает доступ полностью тестовые версии, удалённые страницы

Важно

Если страница уже в индексе и вы хотите её убрать, не закрывайте её сразу в Disallow. Сначала добавьте noindex и дождитесь, пока робот её переобойдёт и исключит из поиска. Если закрыть страницу в robots.txt, робот не увидит noindex и страница может остаться в индексе.

Подробнее — в статьях про мета-тег robots, noindex и canonical.

Disallow, noindex и X-Robots-Tag: что выбрать

Все три инструмента помогают управлять тем, как поисковые системы работают с сайтом, но действуют на разных этапах. Disallow решает, зайдёт ли робот на адрес. Метатег robots с noindex и HTTP-заголовок X-Robots-Tag решают, попадёт ли уже загруженная страница или файл в индекс. Поэтому их нельзя считать взаимозаменяемыми.

Сравнение по шагам работы робота
Признак Disallow Noindex в метатеге X-Robots-Tag
Где задаётся в файле robots.txt в коде страницы, в блоке head в HTTP-заголовке ответа сервера
На каком этапе работает до сканирования после загрузки страницы после получения ответа сервера
Нужен ли доступ к странице нет, робот не заходит да, робот должен прочитать код да, робот должен получить заголовок
Убирает из индекса не гарантирует да, после переобхода да, после переобхода
Подходит для файлов PDF и изображений да, только запрет обхода нет, у файлов нет head да, основной способ
Массовые правила по шаблону да, через * и $ только через шаблоны CMS да, через настройки сервера
Экономит ресурс обхода да нет нет

Отсюда простое правило выбора. Если страница не нужна ни роботу, ни поиску и в индексе её нет, используйте Disallow. Если страница уже проиндексирована и её надо удалить из выдачи, оставьте её открытой для сканирования и добавьте noindex через мета-тег robots или X-Robots-Tag. Когда робот переобойдёт страницу и исключит её из индекса, при необходимости можно добавить Disallow, чтобы он больше не тратил на неё время.

  • Disallow — для служебных разделов, параметров, корзины, поиска по сайту и всего, что не должно сканироваться.
  • Noindex — для страниц, которые нужны людям, но не нужны в поиске: благодарность за заявку, условия акции, внутренние подборки.
  • X-Robots-Tag — для документов, изображений и других файлов, а также для массовых правил на уровне сервера.
  • Disallow и noindex на одной странице одновременно — робот не увидит noindex, и запрет индексации не сработает.

Ещё один вариант — защитить раздел паролем или отдавать код 404 и 410 для удалённых страниц. Это самый надёжный способ скрыть данные, потому что доступ к ним закрыт для всех, а не только для добросовестных роботов. Подробнее о том, как робот обходит сайт и почему он может не вернуться к странице быстро, — в статьях про сканирование и переобход страниц.

Зачем Disallow нужен для SEO-продвижения

Правильный robots.txt — часть технической базы SEO-продвижения. Поисковые роботы обходят каждый ресурс ограниченное время, и если на сайте тысячи мусорных адресов, новые страницы и важные разделы сканируются реже. Директива Disallow помогает направить робота туда, где находится полезный контент: в каталог, карточки товаров, услуги и статьи блога.

  • Экономия краулингового бюджета: робот не тратит время на служебные страницы, параметры и дубли.
  • Быстрая индексация: новые страницы быстрее попадают в поиск, потому что робот чаще обходит нужные разделы.
  • Меньше мусора в индексе: в выдаче не появляются результаты поиска по сайту, корзина и страницы с UTM-метками.
  • Снижение нагрузки на хостинг: агрессивные боты и сервисы анализа меньше нагружают сервер.

Для проекта, который активно продвигается, ошибки в robots.txt особенно опасны. Одна неправильная строка может закрыть раздел с товарами или весь сайт, и позиции начнут падать уже через несколько дней после переобхода. Поэтому robots.txt проверяют в первую очередь при техническом аудите и после любых изменений на сайте.

Важно

Disallow не помогает скрыть информацию от людей. Файл robots.txt открыт для всех, и любой может увидеть, какие разделы вы закрыли. Персональные данные и закрытые материалы нужно защищать паролем, а не правилами для роботов.

Disallow в стратегии продвижения

Robots.txt является частью технической базы, и продвижение сайта без него редко бывает эффективным. Он редко становится главным фактором роста, но ошибки в нём легко сводят на нет работу над контентом, ссылками и юзабилити. Поэтому его проверяют в первую очередь при любом комплексном продвижении и при запуске нового проекта.

  • На новом сайте правильный Disallow помогает с первых дней направить робота на важные страницы и быстрее проиндексировать каталог.
  • На крупном интернет-магазине он ограничивает обход фильтров и параметров и значительно ускоряет индексирование новых товаров.
  • При редизайне и переезде он защищает от случайной блокировки разделов и потери видимости.
  • При работе с агентством или подрядчиком он помогает быстро выявлять некорректные правки разработчиков.

В хорошей практике SEO-специалист составляет список разделов, которые нужно закрыть, на этапе сбора семантического ядра и проектирования структуры: уже тогда видно, какие страницы будут продвигаться, а какие требуют запрета. Разработчик реализует правила, а после внедрения их проверяют в Вебмастере и в отчётах о сканировании.

Если на сайте возникает проблема с индексацией — страницы долго не попадают в поиск или выпадают из него, — одна из первых причин, которую стоит проверить, это robots.txt. В этом контексте полезно смотреть аналитику: если органический трафик на раздел упал сразу после релиза, сравните текущий файл с предыдущей версией и посмотрите, не появилось ли новое правило блокировки.

Совет

Рекомендации по robots.txt лучше хранить вместе с другими техническими требованиями к сайту. Тогда при смене команды или подрядчика новые специалисты будут знать, почему закрыт тот или иной раздел, и не удалят нужные строки.

Robots.txt для домена, поддоменов и протоколов

Файл robots.txt действует только для того домена, протокола и порта, на котором он находится. Правила с site.ru/robots.txt не распространяются на поддомен shop.site.ru или блог blog.site.ru — для каждого поддомена нужен свой файл в корневой папке.

Где действует robots.txt
Адрес файла Для каких страниц действует Комментарий
https://site.ru/robots.txt все страницы https://site.ru основной файл сайта
https://www.site.ru/robots.txt все страницы с www отдельный файл, если зеркало не склеено
https://shop.site.ru/robots.txt только поддомен shop у поддомена свои правила
http://site.ru/robots.txt версия по HTTP обычно отдаёт редирект на HTTPS
https://site.ru/folder/robots.txt не работает файл должен лежать только в корне

Если сайт переехал на новый домен или на HTTPS, проверьте, что robots.txt на новом адресе доступен и содержит актуальные правила. Ошибка при переезде — перенести файл тестовой версии с Disallow: / на рабочий домен.

Подробнее о переносе сайта — в статье про переезд сайта.

Как создать и прописать Disallow

Создать robots.txt можно в любом текстовом редакторе. Файл называется строго robots.txt, сохраняется в кодировке UTF-8 и загружается в корневую папку сайта через хостинг, FTP или панель управления CMS. Во многих CMS есть модули и плагины, которые позволяют редактировать robots.txt прямо из админки.

  1. Определите, что закрыть

    составьте список служебных разделов, параметров и страниц, которые не нужны в поиске.

  2. Пропишите группы User-agent

    общая группа для всех роботов и при необходимости отдельные группы для конкретных ботов.

  3. Добавьте строки Disallow и Allow

    каждый запрет и каждое исключение — отдельной строкой.

  4. Укажите Sitemap

    полный адрес карты сайта, чтобы робот нашёл все важные страницы.

  5. Проверьте файл

    инструмент анализа robots.txt в Яндекс Вебмастере и отчёт в Google Search Console.

  6. Следите за результатом

    через несколько дней посмотрите статистику обхода и исключённые страницы.

Совет

Пишите комментарии в robots.txt через символ #: зачем добавлено правило и когда. Через год команда проекта сможет понять, почему закрыт тот или иной раздел, и не удалит нужный запрет.

Если на сайте работают несколько специалистов — SEO-специалист, разработчик, системный администратор, — договоритесь, кто отвечает за robots.txt. Изменения в файле должны проходить проверку, как и любые другие изменения, которые могут повлиять на индексацию.

Политика конфиденциальности, оферта и контакты: закрывать или нет

Вопросы о служебных страницах возникают почти в каждом проекте. Один из частых — нужно ли закрывать в Disallow страницы, которые есть почти на каждом сайте компании: политику конфиденциальности, согласие на обработку персональных данных, публичную оферту, условия доставки, контакты и тарифы. Ответ зависит от того, какую ценность страница представляет для людей и поиска.

Что делать со служебными страницами
Страница Закрывать в Disallow Комментарий
Контакты нет важна для коммерческих факторов и запросов с названием компании
Тарифы и цены нет пользователи ищут стоимость услуг и сравнивают предложения
Доставка, оплата, гарантия нет помогают оценить качество сервиса и доверие к магазину
Политика конфиденциальности обычно нет её наличие поисковики учитывают при оценке сайта
Согласие на обработку данных можно noindex шаблонный текст, одинаковый на тысячах сайтов
Публичная оферта по ситуации для сервисов с онлайн-оплатой её лучше оставить открытой
Страница «Спасибо за заявку» да или noindex появляется после того, как клиент отправил форму

Шаблонные юридические тексты часто совпадают с текстами на других сайтах, но закрывать их в Disallow не обязательно. Поисковики понимают, что это служебная информация, и такие страницы не ухудшают рейтинг ресурса. Если не хочется видеть их в выдаче, используйте noindex: робот сможет перейти по ссылкам и учесть, что у компании есть политика и реквизиты, но сами страницы не будут показываться в поиске.

Ошибка

Закрыть в Disallow страницы с контактами, реквизитами и отзывами, чтобы «не размывать» индекс. Эти страницы помогают поисковым системам оценить коммерческие факторы и надёжность бизнеса, а их отсутствие в индексе может привести к снижению позиций по коммерческим запросам.

Как закрыть лишних ботов

Сайты в интернете обходят не только роботы поисковых систем. Кроме них, веб-ресурсы посещают сервисы анализа ссылок, SEO-инструменты, парсеры цен, спам-боты и ИИ-краулеры. Часть из них соблюдает правила robots.txt, и их можно закрыть отдельной группой User-agent с Disallow: /. Это снижает нагрузку на сервер и защищает контент от лишнего использования.

  • Сервисы анализа ссылок и SEO-инструменты: AhrefsBot, SemrushBot, MJ12bot
  • ИИ-краулеры: GPTBot, ClaudeBot, CCBot и другие, если вы не хотите, чтобы контент использовали для обучения моделей
  • Роботы рекламных систем обычно закрывать не нужно: они проверяют посадочные страницы для контекстной рекламы

Важно понимать: robots.txt — это просьба, а не защита. Добросовестные роботы поисковых систем и крупных сервисов её соблюдают, а спам-боты и парсеры часто игнорируют. Для защиты от таких источников нагрузки используют настройки сервера, фаерволы и защиту от ботов на уровне хостинга.

Disallow для интернет-магазина и блога

В интернет-магазине количество адресов растёт быстрее всего: фильтры по цене, бренду и размеру, сортировки, сравнение товаров, избранное, страницы оплаты и оформления заказа. Если не закрыть такие адреса, робот будет индексировать тысячи похожих страниц, а карточки новых товаров будут попадать в поиск с задержкой.

Типовые правила для магазина
Что закрываем Пример строки Комментарий
Корзина и оформление заказа Disallow: /cart/ и Disallow: /order/ личные данные клиентов и оплата
Сравнение и избранное Disallow: /compare/ и Disallow: /wishlist/ страницы без самостоятельного содержимого
Сортировки Disallow: /*?sort= и Disallow: /*&order= дубли каталога с другим порядком
Технические фильтры Disallow: /*?filter= закрывают, если фильтры не продвигаются как отдельные страницы
Количество на странице Disallow: /*?limit= копии категорий с разным количеством товаров

Фильтры, которые приносят поисковый трафик — например, «кроссовки для бега» или «диваны серого цвета», — закрывать нельзя. Их лучше оформить как отдельные посадочные страницы с ЧПУ, собственным title, текстом и описанием. Решение о том, какие фильтры открыть, принимают на основе спроса и анализа конкурентов, а остальные закрывают в Disallow.

Для блога обычно закрывают страницы поиска, служебные архивы, страницы авторов без содержимого и параметры сортировки комментариев. Сами статьи, рубрики и теги с полезным содержанием должны оставаться открытыми, иначе блог не будет получать трафик.

Ошибка

Закрыть в Disallow все адреса с вопросительным знаком, включая страницы пагинации. Тогда робот не сможет переходить на вторую и следующие страницы каталога и найдёт меньше товаров. Для пагинации лучше добавить исключение через Allow.

Для бизнеса правильные правила в robots.txt — это простой способ ускорить индексацию новых товаров и услуг и не терять позиций из-за дублей. Если в команде нет SEO-специалистов, хотя бы раз в квартал проверяйте файл в Вебмастере и смотрите отчёт об исключённых страницах.

Примеры robots.txt с Disallow

Ниже — типовые наборы правил для разных ситуаций. Их нужно адаптировать под структуру конкретного сайта и проверить перед публикацией.

  1. Закрыть весь сайт

    User-agent: * и Disallow: / — подходит для тестовой версии или сайта в разработке.

  2. Открыть весь сайт

    User-agent: * и пустой Disallow: — робот может сканировать все страницы.

  3. Закрыть админку и поиск

    Disallow: /admin/ и Disallow: /search/ — стандартный набор для большинства сайтов.

  4. Закрыть параметры

    Disallow: /*?sort= и Disallow: /*utm_ — убирает дубли каталога и посадочных страниц.

  5. Закрыть файлы одного типа

    Disallow: /*.pdf$ — запрещает сканирование всех PDF-документов.

  6. Указать карту сайта

    Sitemap: https://site.ru/sitemap.xml — помогает роботу найти все важные страницы.

Для WordPress обычно закрывают /wp-admin/, оставляя доступ к /wp-admin/admin-ajax.php, а также страницы поиска и служебные параметры. Для Битрикс — папку /bitrix/, личный кабинет, корзину, поиск и параметры сортировки и фильтров, но открывают файлы стилей и скриптов шаблона. Для сайтов на uCoz и других конструкторах часть правил задаёт сама платформа, и их стоит проверить, прежде чем добавлять свои.

Disallow для популярных CMS

У каждой платформы своя структура служебных директорий, поэтому готовый файл с одного сайта нельзя просто перенести на другой. Ниже — типовые запреты, с которых удобно начать. Перед публикацией сравните их с реальной структурой ресурса и проверьте ключевые адреса в Вебмастере.

Что закрывают на разных платформах
Платформа Типовые строки Disallow Что оставить открытым
WordPress /wp-admin/, /wp-login.php, /?s=, /*?replytocom= /wp-admin/admin-ajax.php, /wp-content/uploads/
Битрикс /bitrix/, /personal/, /auth/, /search/, /*?print= /bitrix/templates/*.css и *.js, /upload/
Joomla /administrator/, /cache/, /tmp/, /component/search/ /images/, /media/, файлы шаблона
OpenCart /admin/, /*route=account/, /*route=checkout/, /*?sort= /image/, /catalog/view/
Tilda и конструкторы служебные страницы задаёт платформа основные страницы и изображения
Самописный сайт /cgi-bin/, /api/, /tmp/, служебные скрипты все страницы для пользователей

На хостинге с панелью управления иногда существует директория /cgi-bin/ со скриптами сервера. Её закрывают в Disallow, потому что там нет страниц для людей. Папки с изображениями, например /upload/ или /images/, наоборот, должны оставаться открытыми: иначе картинки не попадут в поиск по изображениям, а Google Images и Яндекс Картинки перестанут приводить трафик.

Многие CMS умеют создавать robots.txt автоматически, и вы можете поручить это платформе. При этом а плагины SEO-оптимизации позволяют редактировать его из админки. Это удобно, но такие генераторы часто добавляют лишние правила или, наоборот, не учитывают фильтры каталога. После установки плагина или обновления платформы откройте файл и проверьте, что в нём нет запретов, которые блокируют важные разделы.

Ошибка

Скопировать robots.txt из чужой статьи или с сайта конкурента. Его правила соответствуют другой структуре адресов, а управление обходом с чужими правилами работает непредсказуемо: часть строк ничего не закрывает, а некоторые могут заблокировать ваши категории или карточки товаров.

Как проверить правила Disallow

После любого изменения robots.txt обязательно проверьте, что нужные страницы остались открытыми. Ошибка в одном символе может закрыть от сканирования целый раздел сайта.

  1. Откройте файл в браузере

    адрес site.ru/robots.txt должен отдавать код 200 и показывать актуальные правила.

  2. Проверьте в Яндекс Вебмастере

    инструмент анализа robots.txt покажет ошибки синтаксиса и проверит список адресов.

  3. Проверьте в Google Search Console

    отчёт о файле robots.txt показывает, какую версию видит Google и есть ли ошибки.

  4. Проверьте ключевые страницы

    главная, разделы каталога, карточки товаров и статьи должны быть разрешены.

  5. Следите за индексацией

    после изменений посмотрите, не выросло ли число исключённых страниц.

Если сайт большой, полезно сделать обход краулером и посмотреть, какие страницы он считает закрытыми в robots.txt. Это помогает заметить случайные запреты и правила, которые закрывают больше, чем нужно. Регулярную проверку удобно поручить техническому аудиту.

Как проверить Disallow в Вебмастере и Search Console

Проверка robots.txt занимает несколько минут, но помогает избежать проблем, которые потом исправляются неделями. Оба главных инструмента бесплатны и доступны после подтверждения прав на сайт.

Анализ robots.txt в Яндекс Вебмастере

В Яндекс Вебмастере откройте раздел «Инструменты» и выберите «Анализ robots.txt». Сервис загрузит текущую версию файла с сайта. Можно отредактировать текст прямо в поле и проверить, как изменится результат, ещё до загрузки файла на хостинг.

  1. Проверьте ошибки

    сервис подсветит строки, которые робот не понимает, и предупредит о неверном синтаксисе.

  2. Добавьте список адресов

    вставьте адреса главной, категорий, карточек, статей и служебных страниц.

  3. Посмотрите результат

    для каждого адреса будет указано, разрешён он или запрещён и каким правилом.

  4. Сохраните изменения на сайте

    если результат вас устраивает, обновите файл на сервере и снова загрузите его в инструмент.

Дополнительно стоит посмотреть раздел «Индексирование» → «Страницы в поиске» и фильтр исключённых страниц. Если там появляются адреса со статусом запрета в robots.txt, которые должны быть в поиске, значит правило закрывает лишнее.

Отчёт о файле robots.txt в Google Search Console

В Google Search Console отчёт находится в настройках ресурса. Он показывает, какие файлы robots.txt Google нашёл для сайта и его поддоменов, дату последней загрузки, код ответа и ошибки разбора. Если файл недавно изменился, через отчёт можно запросить повторное сканирование, чтобы Google быстрее получил новую версию.

Чтобы проверить отдельную страницу, используйте инструмент проверки URL. Он покажет, разрешено ли сканирование, и если адрес заблокирован, укажет на это в отчёте. Отдельного тестера, который был раньше, в новой версии Search Console нет, поэтому сложные правила удобно проверять в Вебмастере или в открытых библиотеках разбора robots.txt.

Статусы, связанные с Disallow
Статус в отчёте Что значит Что делать
Заблокировано в файле robots.txt Google не сканирует адрес из-за правила убедиться, что запрет нужен
Проиндексировано, несмотря на блокировку в файле robots.txt адрес в индексе без сканирования, обычно из-за ссылок открыть адрес и добавить noindex
Запрещено в robots.txt в Вебмастере Яндекс исключил адрес из обхода проверить, нужна ли страница в поиске
Ошибка загрузки robots.txt сервер не отдаёт файл или отдаёт ошибку 5xx исправить ответ сервера

Важно

Если сервер отвечает на запрос robots.txt ошибкой 5xx, Google на время считает, что сканировать весь сайт запрещено. Код 404 для файла, наоборот, означает отсутствие ограничений. Поэтому важно следить не только за содержанием файла, но и за кодом ответа сервера.

Для регулярного контроля удобно сохранять копию файла и сравнивать её с текущей версией после каждого релиза. Многие сервисы мониторинга умеют автоматически присылать уведомление, если robots.txt изменился, и это помогает заметить ошибку раньше, чем упадёт трафик.

Частые ошибки с Disallow

  • Оставить Disallow: / после разработки — сайт постепенно выпадает из поиска.
  • Закрыть CSS, JavaScript и изображения — поисковик не может правильно отрисовать страницу.
  • Закрыть страницы с noindex — робот не видит запрет индексации, и страницы остаются в поиске.
  • Забыть слеш или поставить лишний — правило закрывает больше или меньше, чем нужно.
  • Использовать Disallow для борьбы с дублями, которые нужны пользователям, вместо canonical.
  • Создать отдельную группу для Яндекса и не перенести в неё общие правила.
  • Закрыть страницы, на которые ведут внешние ссылки, — сигналы от ссылок не передаются дальше.

Совет

Храните историю изменений robots.txt и проверяйте файл после каждого обновления CMS и релиза. Мониторинг изменений robots.txt помогает быстро заметить случайный запрет до того, как он повлияет на трафик.

Чек-лист проверки Disallow

Используйте этот список, когда идёт создание нового файла, а также после переезда, редизайна и обновления CMS. Он помогает быстро убедиться, что правила работают корректно и не мешают продвижению.

  • Файл доступен по адресу site.ru/robots.txt и отдаёт код 200
  • На рабочем сайте нет строки Disallow: / для всех роботов
  • Главная, категории, карточки товаров, услуги и статьи разрешены для сканирования
  • Служебные разделы CMS, корзина, личный кабинет и поиск по сайту закрыты
  • Файлы CSS, JavaScript и изображения открыты
  • Параметры сортировки, сессии и метки закрыты через Disallow или склеены через Clean-param
  • Пагинация и продвигаемые фильтры не попали под общий запрет
  • В отдельных группах для Яндекса и Google повторены все общие правила
  • Страницы с noindex не закрыты в Disallow
  • Указан полный адрес карты сайта в директиве Sitemap
  • Файл проверен в Вебмастере и в отчёте Search Console
  • У каждого поддомена есть свой robots.txt

Совет

Добавьте проверку robots.txt в процесс выкладки сайта: перед каждым релизом разработчик сравнивает файл с эталонной версией. Это самый простой способ избежать ситуации, когда тестовый запрет попадает на рабочий домен.

Главное

  • Disallow — директива robots.txt, которая запрещает роботам сканировать указанные адреса сайта.
  • Правило всегда относится к группе User-agent: можно задать разные запреты для Яндекса, Google и других ботов.
  • Пустой Disallow разрешает всё, а Disallow: / запрещает сканирование всего сайта.
  • Allow открывает отдельные адреса внутри закрытого раздела; при конфликте побеждает более длинное правило.
  • Disallow не гарантирует удаление из индекса: для этого нужен noindex, а страница должна оставаться доступной для сканирования.

Какие инструменты Титло помогают проверить правила Disallow

После изменения robots.txt важно убедиться, что нужные страницы открыты, а мусорные закрыты. Эти модули помогают это проверить.

Связанные термины

Термины без ссылки ещё в работе — ссылки появятся после публикации.

Частые вопросы

Что значит Disallow в robots.txt?
Disallow — это запрет. Строка «Disallow: /admin/» говорит роботу не сканировать все адреса, которые начинаются с /admin/. Правило действует для роботов, указанных в строке User-agent перед ним.
Что означает «Disallow: /»?
Это запрет на сканирование всего сайта для указанных роботов. Такую запись используют для тестовых версий и сайтов в разработке. На рабочем сайте она почти всегда ошибка, после которой страницы постепенно выпадают из поиска.
Чем Disallow отличается от noindex?
Disallow запрещает роботу заходить на страницу и сканировать её. Noindex разрешает сканировать, но запрещает показывать страницу в поиске. Если страница закрыта в Disallow, робот не увидит на ней noindex, поэтому для удаления из индекса страницу нельзя закрывать в robots.txt.
Как закрыть от индексации страницы с параметрами?
Используйте шаблоны с символом *, например «Disallow: /*?sort=» или «Disallow: /*utm_». Для Яндекса также есть директива Clean-param, которая склеивает адреса с незначащими параметрами.
Как проверить, работает ли правило Disallow?
В Яндекс Вебмастере есть инструмент анализа robots.txt: вставьте файл и список адресов, и сервис покажет, разрешён или запрещён каждый URL. В Google Search Console есть отчёт о файле robots.txt и проверка URL.
Нужно ли закрывать в Disallow CSS и JavaScript?
Нет. Поисковым системам нужны стили и скрипты, чтобы правильно отрисовать страницу и оценить её удобство. Закрытие этих файлов может ухудшить индексацию и оценку мобильной версии.
Как работает правило самого длинного совпадения?
Если для адреса подходят и Disallow, и Allow, робот выбирает правило с более длинным путём, потому что оно точнее описывает адрес. При одинаковой длине приоритет получает Allow. Порядок строк в файле значения не имеет.
Что означают символы * и $ в Disallow?
Звёздочка заменяет любую последовательность символов, а знак доллара обозначает конец адреса. Например, Disallow: /*.pdf$ закрывает все файлы PDF, а Disallow: /*sort= — все адреса с параметром сортировки.
Поддерживает ли Google директиву Clean-param?
Нет, Clean-param работает только в Яндексе. Для Google дубли с параметрами склеивают через canonical или закрывают в Disallow, если они вообще не нужны роботу.
Почему страница в индексе, хотя закрыта в Disallow?
Robots.txt запрещает сканирование, но не индексацию. Если на адрес ведут ссылки, Google может добавить его в индекс без содержимого. Чтобы убрать такую страницу, откройте её для сканирования и добавьте noindex.
Через сколько времени начинает действовать новое правило?
Поисковые системы обычно перечитывают robots.txt раз в сутки или чаще. В Search Console можно запросить повторную загрузку файла. Но страницы, которые уже в индексе, будут исключаться постепенно, по мере переобхода.
Можно ли закрыть сайт только от одного поисковика?
Да. Создайте отдельную группу User-agent с именем нужного робота, например Yandex или Googlebot, и укажите в ней Disallow: /. Остальные роботы будут читать общую группу.