Что такое директива Disallow в robots.txt
Обновлено Время чтения: 35 мин
Коротко
Директива Disallow — это инструкция в файле robots.txt, которая запрещает поисковым роботам обходить указанные адреса сайта: отдельные страницы, разделы, файлы или URL с параметрами. Правило записывается после строки User-agent и действует для тех роботов, к которым относится эта группа. Disallow управляет сканированием, но не гарантирует исключение страницы из индекса: для этого используют мета-тег robots с noindex или заголовок X-Robots-Tag.
Что такое Disallow простыми словами
Disallow в переводе с английского — «запрещать». В файле robots.txt это главная директива, с помощью которой владелец сайта говорит поисковым роботам: сюда заходить не нужно. Так можно закрыть служебные разделы, личный кабинет, корзину, результаты поиска по сайту, страницы с параметрами и другие адреса, которые не должны тратить время робота и попадать в поиск.
Файл robots.txt находится в корне сайта по адресу site.ru/robots.txt. Перед тем как начать сканирование, поисковый робот загружает этот файл и читает правила. Каждая группа правил начинается со строки User-agent, где указано имя робота, а за ней идут строки Disallow и Allow с путями, которые запрещено или разрешено сканировать.
| Директива | Что делает | Пример |
|---|---|---|
| User-agent | указывает, к какому роботу относятся правила | User-agent: Yandex |
| Disallow | запрещает сканирование адресов, которые начинаются с указанного пути | Disallow: /admin/ |
| Allow | разрешает сканирование адресов внутри закрытого раздела | Allow: /catalog/public/ |
| Sitemap | указывает путь к карте сайта | Sitemap: https://site.ru/sitemap.xml |
| Clean-param | склеивает адреса с незначащими параметрами для Яндекса | Clean-param: utm_source /catalog/ |
| Crawl-delay | задавал паузу между запросами робота, сейчас поисковики его не учитывают | Crawl-delay: 2 |
Важно
Disallow управляет сканированием, а не индексацией. Если на закрытую страницу ведут ссылки с других сайтов, поисковик может показать её адрес в выдаче без описания, даже не заходя на неё.
Директива Host раньше указывала Яндексу главное зеркало сайта, но сейчас она не используется: главное зеркало определяется по 301 редиректу и настройкам в Яндекс Вебмастере.
Синтаксис Disallow
Правило Disallow записывается в отдельной строке: название директивы, двоеточие и путь. Путь начинается с косой черты и сравнивается с началом адреса страницы. Регистр в пути имеет значение: /Catalog/ и /catalog/ — разные адреса.
| Запись | Что запрещает | Что остаётся доступным |
|---|---|---|
| Disallow: | ничего, пустое значение разрешает сканирование всего сайта | весь сайт |
| Disallow: / | весь сайт для указанного робота | ничего |
| Disallow: /admin/ | все адреса, которые начинаются с /admin/ | /administrator, /admin без слеша |
| Disallow: /admin | /admin, /admin/, /administrator и все похожие адреса | адреса, которые начинаются иначе |
| Disallow: /*.pdf$ | все файлы PDF | страницы HTML |
| Disallow: /*?sort= | адреса с параметром сортировки | те же страницы без параметра |
| Disallow: /page$ | только адрес /page | /page/ и /page-2 |
В правилах можно использовать два специальных символа. Звёздочка * означает любую последовательность символов, а знак доллара $ — конец адреса. По умолчанию в конце каждого правила как будто стоит звёздочка, поэтому Disallow: /blog запрещает и /blog, и /blog/, и /blog-news.
- Одна директива — одна строка, одно значение
- Путь всегда начинается с символа /
- Комментарии пишут после символа #
- Пустая строка разделяет группы правил для разных роботов
- Файл должен быть в кодировке UTF-8 и отдавать код ответа 200
Ошибка
Писать несколько путей в одной строке через пробел или запятую. Робот поймёт такое правило неправильно или проигнорирует его. Каждый запрет записывается отдельной строкой Disallow.
Спецсимволы * и $ в правилах Disallow
Стандарт robots.txt изначально описывал только простое сравнение начала адреса. Позже Яндекс и Google добавили поддержку двух специальных символов, и сейчас их используют почти в каждом файле. Регулярные выражения в привычном для разработчика виде robots.txt не поддерживает: нельзя задать диапазон букв, группу символов или условие «или». Есть только звёздочка и знак доллара, и этого достаточно, чтобы корректно описать большинство ситуаций.
| Правило | Что блокирует | Что не блокирует |
|---|---|---|
| Disallow: /*?utm_ | любые адреса с параметром utm_ в начале строки запроса | /catalog/?page=2 |
| Disallow: /*sessionid= | адреса с идентификатором сессии в любом месте | страницы без параметра |
| Disallow: /*.doc$ | файлы, адрес которых заканчивается на .doc | /files/doc/ и /doc-list |
| Disallow: /catalog/*/reviews/ | отзывы в любой категории каталога | саму категорию и карточки |
| Disallow: /*/print/ | версии для печати во всех разделах | обычные страницы |
| Disallow: /search$ | только адрес /search | /search/?q=telefon |
Обратите внимание на несколько особенностей. Звёздочка в конце правила не нужна: она подразумевается по умолчанию, и запись Disallow: /blog* работает так же, как Disallow: /blog. Знак $ отменяет эту звёздочку и требует точного соответствия концу адреса. Если нужно заблокировать файлы определённого формата, правило без $ закроет больше, чем необходимо: Disallow: /*.php заблокирует и /index.php?id=1, и /page.php5.
- Звёздочка * заменяет любую последовательность символов, включая пустую
- Знак $ означает конец адреса, после него не должно быть других символов
- Символ # начинает комментарий, всё после него робот не читает
- Пробелы внутри пути недопустимы, кириллические адреса записывают в кодировке Punycode или URL-кодировке
Ошибка
Писать правило вида Disallow: *utm без косой черты в начале. Некоторые роботы обработают такую строку, а некоторые проигнорируют. Путь в Disallow всегда начинается с символа / или со звёздочки после него: /*utm_.
Кириллические адреса — распространённая проблема при написании правил. Если на сайте есть страницы вида /каталог/, робот сравнивает правило с закодированным адресом. Поэтому в файл лучше добавлять пути в той же форме, в которой они отображаются в логах сервера и в отчётах Вебмастера, а для домена на кириллице указывать в директиве Sitemap адрес в Punycode.
Термины robots.txt: перевод и значение
Синтаксис robots.txt пришёл из англоязычного стандарта, поэтому названия директив пишут на английском языке. Чтобы правильно описать правила, полезно понимать перевод основных терминов.
| Термин | Перевод | Что определяет |
|---|---|---|
| User-agent | пользовательский агент | имя робота, для которого указывается группа правил |
| Disallow | запретить | путь, который робот не должен сканировать |
| Allow | разрешить | исключение внутри закрытого раздела |
| Sitemap | карта сайта | полный адрес файла со списком страниц |
| Clean-param | очистить параметр | параметры, которые не меняют содержание страницы |
| Crawl-delay | задержка обхода | интервал между запросами робота в секундах, сейчас игнорируется |
| Host | хост | раньше указывал главное зеркало для Яндекса, сейчас не используется |
Названия директив робот читает без учёта регистра: disallow и Disallow считаются одинаковыми. А вот в пути заглавные буквы важны, и правило Disallow: /Admin/ не закроет адрес /admin/. Не забывайте об этом, если на сайте встречаются адреса с заглавными буквами, например после переноса со старой CMS.
Эти инструкции понимают все крупные системы. Директива Crawl-delay раньше помогала снизить нагрузку на сервер, но Google её никогда не поддерживал, а Яндекс перестал учитывать. Скорость обхода сейчас настраивают в Вебмастере в разделе управления скоростью обхода, а для Google она определяется автоматически по тому, как быстро отвечает сервер.
Disallow и User-agent: правила для разных роботов
Правила Disallow всегда относятся к группе, которая начинается со строки User-agent. Символ * означает всех роботов, а конкретное имя — отдельного бота. Робот выбирает самую подходящую группу: если есть отдельная группа для Yandex, он будет следовать только ей и не будет читать правила для всех.
| Запись | Для кого правила | Комментарий |
|---|---|---|
| User-agent: * | для всех роботов | общие правила, если нет отдельной группы |
| User-agent: Yandex | для всех роботов Яндекса | основной робот, картинки, видео и другие |
| User-agent: Googlebot | для основного робота Google | отдельно есть роботы для картинок и рекламы |
| User-agent: GPTBot | для бота OpenAI | можно запретить использование контента для обучения |
| User-agent: AhrefsBot | для робота сервиса анализа ссылок | часто закрывают, чтобы снизить нагрузку |
Ошибка
Создать отдельную группу для Яндекса и забыть продублировать в ней общие запреты. Робот Яндекса будет читать только свою группу, и правила из User-agent: * для него перестанут действовать.
Поэтому если вы делаете отдельные правила для Яндекса и Google, полностью повторите в каждой группе все нужные запреты, а не только отличающиеся строки.
Disallow и Allow
Директива Allow работает в паре с Disallow и разрешает сканирование отдельных адресов внутри закрытого раздела. Например, можно закрыть весь раздел личного кабинета, но открыть страницу с условиями регистрации.
Disallow
Запрещает сканирование адресов, которые начинаются с указанного пути. Используется для служебных разделов, дублей, параметров.
Allow
Разрешает сканирование адресов, даже если они попадают под Disallow. Используется для исключений внутри закрытых разделов.
Когда для одного адреса подходят оба правила, Яндекс и Google выбирают более длинное, то есть более конкретное правило. Если правила одинаковой длины, приоритет получает Allow. Порядок строк в файле при этом не важен.
| Правила | Адрес | Результат |
|---|---|---|
| Disallow: /catalog/ и Allow: /catalog/shoes/ | /catalog/shoes/boots/ | разрешено, Allow длиннее |
| Disallow: /catalog/ и Allow: /catalog/shoes/ | /catalog/bags/ | запрещено |
| Disallow: /*? и Allow: /*?page= | /catalog/?page=2 | разрешено |
| Disallow: /*? и Allow: /*?page= | /catalog/?sort=price | запрещено |
| Disallow: /bitrix/ и Allow: /bitrix/*.css | /bitrix/templates/main.css | разрешено |
Совет
Проверяйте каждое сложное правило в инструменте анализа robots.txt в Яндекс Вебмастере: вставьте файл и список адресов, и сервис покажет, какие страницы разрешены, а какие запрещены.
Приоритет правил: самое длинное совпадение
Когда для одного адреса подходят несколько правил Disallow и Allow, робот не читает файл сверху вниз и не применяет первое попавшееся правило. Яндекс и Google сортируют правила по длине пути и применяют самое длинное, то есть самое конкретное. Если длина одинаковая, побеждает Allow. Такой подход описан в руководстве Google и в справке Яндекса, его поддерживают и Bing, и большинство других поисковых систем.
Находит все правила Disallow и Allow, которые совпадают с началом адреса
Сравнивает длину путей с учётом символов * и $
Применяет самое длинное правило, при равной длине — Allow
Решает, сканировать адрес или нет
| Правила в группе | Адрес | Итог |
|---|---|---|
| Allow: /blog/ и Disallow: /blog/draft/ | /blog/draft/novaya-statya/ | запрещено, Disallow длиннее |
| Disallow: /shop/ и Allow: /shop/sale/ | /shop/sale/kurtki/ | разрешено, Allow длиннее |
| Disallow: /page и Allow: /page | /page-2 | разрешено, длина равна, приоритет у Allow |
| Disallow: / и Allow: /$ | главная страница / | разрешено, открыта только главная |
| Disallow: /*.pdf$ и Allow: /docs/price.pdf | /docs/price.pdf | разрешено, исключение для одного файла |
Это правило помогает решать сложные задачи без длинного списка запретов. Например, если нужно закрыть все страницы, кроме главной, достаточно двух строк: Disallow: / и Allow: /$. А чтобы открыть одну папку внутри закрытой директории, добавьте для неё Allow с более полным путём.
Совет
Раньше Яндекс учитывал порядок строк, и в старых руководствах можно встретить совет ставить Allow выше Disallow. Сейчас порядок не имеет значения, и в случае конфликта решает только длина пути, но размещать исключения рядом с запретами всё равно удобно: так проще читать файл и избежать ошибки при следующем обновлении.
Что закрывать через Disallow
Директиву Disallow используют, чтобы робот не тратил время на страницы, которые не нужны в поиске, и быстрее находил важные разделы. Особенно это важно для крупных сайтов и интернет-магазинов, где без правильных запретов появляются тысячи мусорных адресов.
| Раздел | Пример правила | Почему |
|---|---|---|
| Служебные разделы CMS | Disallow: /bitrix/ или Disallow: /wp-admin/ | в них нет полезного контента |
| Личный кабинет и корзина | Disallow: /personal/ и Disallow: /cart/ | персональные данные и динамические страницы |
| Поиск по сайту | Disallow: /search/ | бесконечные варианты страниц с результатами |
| Сортировки и фильтры | Disallow: /*?sort= | дубли каталога с другим порядком товаров |
| UTM-метки и параметры рекламы | Disallow: /*utm_ | дубли посадочных страниц из рекламы |
| Версии для печати | Disallow: /*print= | копии основных страниц |
| Страницы регистрации и входа | Disallow: /login/ | не нужны в поиске |
| Тестовые и временные разделы | Disallow: /test/ | недоработанный контент |
Не стоит закрывать в Disallow страницы, которые должны быть в поиске, а также файлы CSS, JavaScript и изображения, которые нужны для отображения страниц. Если закрыть стили и скрипты, поисковик не сможет правильно оценить, как выглядит страница на мобильных устройствах.
Для адресов с UTM-метками и параметрами в Яндексе удобнее использовать директиву Clean-param: она не просто запрещает сканирование, а склеивает такие адреса с основной страницей и передаёт ей сигналы.
Фильтры, сортировки и UTM-метки: как закрыть параметры
Адреса с параметрами — главный источник дублированного контента. Один и тот же список товаров открывается по десяткам адресов: с сортировкой по цене, с фильтром по бренду, с разным количеством товаров на странице, с UTM-метками из рекламных кампаний и рассылок. Робот видит в них разные страницы с одинаковым содержанием и тратит на их обход время, которое мог бы потратить на новые карточки.
Закрыть в Disallow
Подходит для параметров, которые никогда не нужны в поиске: сессии, сортировки, служебные метки, страницы печати. Робот не заходит на такие адреса и не тратит на них ресурс.
Склеить через Clean-param
Подходит для UTM-меток и меток рекламных систем в Яндексе. Робот понимает, что адрес с меткой — та же страница, и передаёт сигналы основному адресу.
Указать canonical
Подходит для фильтров и сортировок, которые нужны людям, если важно сохранить внутренние ссылки и поведенческие сигналы. Страница доступна роботу, но в индекс попадает основная версия.
Для параметров, которые идут в адресе первыми, правило пишут со знаком вопроса, а для тех, что могут стоять в середине, — с амперсандом. Чтобы не перечислять оба варианта, используют звёздочку с названием параметра и знаком равенства.
| Параметр | Правило Disallow | Комментарий |
|---|---|---|
| сортировка | Disallow: /*sort= | закрывает ?sort= и &sort= |
| количество товаров | Disallow: /*limit= | дубли категорий с разным количеством |
| идентификатор сессии | Disallow: /*sid= | бесконечное число одинаковых адресов |
| метки рекламы | Disallow: /*utm_ | для Google, для Яндекса лучше Clean-param |
| метки Директа и Яндекс Метрики | Disallow: /*yclid= | дубли посадочных страниц из рекламы |
| метки Google Ads | Disallow: /*gclid= | то же для рекламы Google |
| фильтры каталога | Disallow: /*filter= | если фильтры не продвигаются |
Важно
Прежде чем закрыть фильтры, проверьте спрос. Посмотрите в Wordstat, есть ли запросы вида «кроссовки женские белые» или «диван угловой серый». Если такие запросы есть, страницы фильтров лучше превратить в посадочные с ЧПУ и открыть для индексации, а в Disallow закрывать только технические комбинации.
Отдельная ситуация — пагинация. Страницы вида ?page=2 нужны роботу, чтобы найти товары из глубины каталога. Если в файле есть общее правило Disallow: /*?, добавьте исключение Allow: /*?page= или Allow: /*?PAGEN_, иначе карточки, на которые ведут только страницы пагинации, будут индексироваться медленно или не попадут в поиск совсем.
Директива Clean-param в Яндексе
Clean-param — директива, которую поддерживает только Яндекс. Она сообщает роботу, что определённые параметры в адресе не влияют на содержание страницы: метки рекламы, идентификаторы сессий, источники перехода, cookie-метки партнёрских программ. Робот перестаёт загружать дубли и считает основным адрес без этих параметров. В отличие от Disallow, Clean-param не просто блокирует обход, а помогает передать сигналы с адресов-дублей основной странице.
Синтаксис директивы: сначала названия параметров через символ &, затем через пробел — префикс пути, для которого действует правило. Если префикс не указан, правило применяется ко всему сайту.
| Запись | Что делает |
|---|---|
| Clean-param: utm_source&utm_medium&utm_campaign | склеивает адреса с UTM-метками на всём сайте |
| Clean-param: sid /forum/ | убирает идентификатор сессии в разделе форума |
| Clean-param: ref&from /catalog/ | склеивает адреса с метками источника в каталоге |
| Clean-param: yclid&gclid | игнорирует метки рекламных систем |
- Директиву можно указывать в любом месте файла, Яндекс учитывает её независимо от группы User-agent
- В одной строке можно перечислить несколько параметров через &
- Длина правила ограничена, поэтому длинные списки лучше разбить на несколько строк
- Google директиву Clean-param не поддерживает и проигнорирует её, поэтому для него используют canonical
Совет
Для UTM-меток в Яндексе Clean-param работает эффективнее, чем Disallow: /*utm_. Сигналы от переходов по рекламным ссылкам и рассылкам не теряются, а в индекс попадает чистый адрес посадочной страницы.
Если на сайте есть параметры, назначение которых сложно определить, посмотрите отчёт о страницах в поиске в Вебмастере. Там видно, какие адреса с параметрами робот уже нашёл, и можно описать правило Clean-param только для тех параметров, которые действительно создают дубли.
Disallow, noindex и canonical: в чём разница
Disallow часто путают с запретом индексации. Но это разные инструменты, и они решают разные задачи.
| Инструмент | Что делает | Когда использовать |
|---|---|---|
| Disallow в robots.txt | запрещает сканирование, робот не заходит на страницу | служебные разделы, параметры, экономия краулингового бюджета |
| Мета-тег robots с noindex | разрешает сканирование, запрещает показ в поиске | страницы, которые нужно убрать из индекса |
| X-Robots-Tag | то же, что noindex, но в HTTP-заголовке | файлы PDF, изображения, документы |
| Canonical | указывает основную версию из группы похожих страниц | дубли, которые нужны пользователям |
| Пароль или код 404 | закрывает доступ полностью | тестовые версии, удалённые страницы |
Важно
Если страница уже в индексе и вы хотите её убрать, не закрывайте её сразу в Disallow. Сначала добавьте noindex и дождитесь, пока робот её переобойдёт и исключит из поиска. Если закрыть страницу в robots.txt, робот не увидит noindex и страница может остаться в индексе.
Подробнее — в статьях про мета-тег robots, noindex и canonical.
Disallow, noindex и X-Robots-Tag: что выбрать
Все три инструмента помогают управлять тем, как поисковые системы работают с сайтом, но действуют на разных этапах. Disallow решает, зайдёт ли робот на адрес. Метатег robots с noindex и HTTP-заголовок X-Robots-Tag решают, попадёт ли уже загруженная страница или файл в индекс. Поэтому их нельзя считать взаимозаменяемыми.
| Признак | Disallow | Noindex в метатеге | X-Robots-Tag |
|---|---|---|---|
| Где задаётся | в файле robots.txt | в коде страницы, в блоке head | в HTTP-заголовке ответа сервера |
| На каком этапе работает | до сканирования | после загрузки страницы | после получения ответа сервера |
| Нужен ли доступ к странице | нет, робот не заходит | да, робот должен прочитать код | да, робот должен получить заголовок |
| Убирает из индекса | не гарантирует | да, после переобхода | да, после переобхода |
| Подходит для файлов PDF и изображений | да, только запрет обхода | нет, у файлов нет head | да, основной способ |
| Массовые правила по шаблону | да, через * и $ | только через шаблоны CMS | да, через настройки сервера |
| Экономит ресурс обхода | да | нет | нет |
Отсюда простое правило выбора. Если страница не нужна ни роботу, ни поиску и в индексе её нет, используйте Disallow. Если страница уже проиндексирована и её надо удалить из выдачи, оставьте её открытой для сканирования и добавьте noindex через мета-тег robots или X-Robots-Tag. Когда робот переобойдёт страницу и исключит её из индекса, при необходимости можно добавить Disallow, чтобы он больше не тратил на неё время.
- Disallow — для служебных разделов, параметров, корзины, поиска по сайту и всего, что не должно сканироваться.
- Noindex — для страниц, которые нужны людям, но не нужны в поиске: благодарность за заявку, условия акции, внутренние подборки.
- X-Robots-Tag — для документов, изображений и других файлов, а также для массовых правил на уровне сервера.
- Disallow и noindex на одной странице одновременно — робот не увидит noindex, и запрет индексации не сработает.
Ещё один вариант — защитить раздел паролем или отдавать код 404 и 410 для удалённых страниц. Это самый надёжный способ скрыть данные, потому что доступ к ним закрыт для всех, а не только для добросовестных роботов. Подробнее о том, как робот обходит сайт и почему он может не вернуться к странице быстро, — в статьях про сканирование и переобход страниц.
Зачем Disallow нужен для SEO-продвижения
Правильный robots.txt — часть технической базы SEO-продвижения. Поисковые роботы обходят каждый ресурс ограниченное время, и если на сайте тысячи мусорных адресов, новые страницы и важные разделы сканируются реже. Директива Disallow помогает направить робота туда, где находится полезный контент: в каталог, карточки товаров, услуги и статьи блога.
- Экономия краулингового бюджета: робот не тратит время на служебные страницы, параметры и дубли.
- Быстрая индексация: новые страницы быстрее попадают в поиск, потому что робот чаще обходит нужные разделы.
- Меньше мусора в индексе: в выдаче не появляются результаты поиска по сайту, корзина и страницы с UTM-метками.
- Снижение нагрузки на хостинг: агрессивные боты и сервисы анализа меньше нагружают сервер.
Для проекта, который активно продвигается, ошибки в robots.txt особенно опасны. Одна неправильная строка может закрыть раздел с товарами или весь сайт, и позиции начнут падать уже через несколько дней после переобхода. Поэтому robots.txt проверяют в первую очередь при техническом аудите и после любых изменений на сайте.
Важно
Disallow не помогает скрыть информацию от людей. Файл robots.txt открыт для всех, и любой может увидеть, какие разделы вы закрыли. Персональные данные и закрытые материалы нужно защищать паролем, а не правилами для роботов.
Disallow в стратегии продвижения
Robots.txt является частью технической базы, и продвижение сайта без него редко бывает эффективным. Он редко становится главным фактором роста, но ошибки в нём легко сводят на нет работу над контентом, ссылками и юзабилити. Поэтому его проверяют в первую очередь при любом комплексном продвижении и при запуске нового проекта.
- На новом сайте правильный Disallow помогает с первых дней направить робота на важные страницы и быстрее проиндексировать каталог.
- На крупном интернет-магазине он ограничивает обход фильтров и параметров и значительно ускоряет индексирование новых товаров.
- При редизайне и переезде он защищает от случайной блокировки разделов и потери видимости.
- При работе с агентством или подрядчиком он помогает быстро выявлять некорректные правки разработчиков.
В хорошей практике SEO-специалист составляет список разделов, которые нужно закрыть, на этапе сбора семантического ядра и проектирования структуры: уже тогда видно, какие страницы будут продвигаться, а какие требуют запрета. Разработчик реализует правила, а после внедрения их проверяют в Вебмастере и в отчётах о сканировании.
Если на сайте возникает проблема с индексацией — страницы долго не попадают в поиск или выпадают из него, — одна из первых причин, которую стоит проверить, это robots.txt. В этом контексте полезно смотреть аналитику: если органический трафик на раздел упал сразу после релиза, сравните текущий файл с предыдущей версией и посмотрите, не появилось ли новое правило блокировки.
Совет
Рекомендации по robots.txt лучше хранить вместе с другими техническими требованиями к сайту. Тогда при смене команды или подрядчика новые специалисты будут знать, почему закрыт тот или иной раздел, и не удалят нужные строки.
Robots.txt для домена, поддоменов и протоколов
Файл robots.txt действует только для того домена, протокола и порта, на котором он находится. Правила с site.ru/robots.txt не распространяются на поддомен shop.site.ru или блог blog.site.ru — для каждого поддомена нужен свой файл в корневой папке.
| Адрес файла | Для каких страниц действует | Комментарий |
|---|---|---|
| https://site.ru/robots.txt | все страницы https://site.ru | основной файл сайта |
| https://www.site.ru/robots.txt | все страницы с www | отдельный файл, если зеркало не склеено |
| https://shop.site.ru/robots.txt | только поддомен shop | у поддомена свои правила |
| http://site.ru/robots.txt | версия по HTTP | обычно отдаёт редирект на HTTPS |
| https://site.ru/folder/robots.txt | не работает | файл должен лежать только в корне |
Если сайт переехал на новый домен или на HTTPS, проверьте, что robots.txt на новом адресе доступен и содержит актуальные правила. Ошибка при переезде — перенести файл тестовой версии с Disallow: / на рабочий домен.
Подробнее о переносе сайта — в статье про переезд сайта.
Как создать и прописать Disallow
Создать robots.txt можно в любом текстовом редакторе. Файл называется строго robots.txt, сохраняется в кодировке UTF-8 и загружается в корневую папку сайта через хостинг, FTP или панель управления CMS. Во многих CMS есть модули и плагины, которые позволяют редактировать robots.txt прямо из админки.
Определите, что закрыть
составьте список служебных разделов, параметров и страниц, которые не нужны в поиске.
Пропишите группы User-agent
общая группа для всех роботов и при необходимости отдельные группы для конкретных ботов.
Добавьте строки Disallow и Allow
каждый запрет и каждое исключение — отдельной строкой.
Укажите Sitemap
полный адрес карты сайта, чтобы робот нашёл все важные страницы.
Проверьте файл
инструмент анализа robots.txt в Яндекс Вебмастере и отчёт в Google Search Console.
Следите за результатом
через несколько дней посмотрите статистику обхода и исключённые страницы.
Совет
Пишите комментарии в robots.txt через символ #: зачем добавлено правило и когда. Через год команда проекта сможет понять, почему закрыт тот или иной раздел, и не удалит нужный запрет.
Если на сайте работают несколько специалистов — SEO-специалист, разработчик, системный администратор, — договоритесь, кто отвечает за robots.txt. Изменения в файле должны проходить проверку, как и любые другие изменения, которые могут повлиять на индексацию.
Политика конфиденциальности, оферта и контакты: закрывать или нет
Вопросы о служебных страницах возникают почти в каждом проекте. Один из частых — нужно ли закрывать в Disallow страницы, которые есть почти на каждом сайте компании: политику конфиденциальности, согласие на обработку персональных данных, публичную оферту, условия доставки, контакты и тарифы. Ответ зависит от того, какую ценность страница представляет для людей и поиска.
| Страница | Закрывать в Disallow | Комментарий |
|---|---|---|
| Контакты | нет | важна для коммерческих факторов и запросов с названием компании |
| Тарифы и цены | нет | пользователи ищут стоимость услуг и сравнивают предложения |
| Доставка, оплата, гарантия | нет | помогают оценить качество сервиса и доверие к магазину |
| Политика конфиденциальности | обычно нет | её наличие поисковики учитывают при оценке сайта |
| Согласие на обработку данных | можно noindex | шаблонный текст, одинаковый на тысячах сайтов |
| Публичная оферта | по ситуации | для сервисов с онлайн-оплатой её лучше оставить открытой |
| Страница «Спасибо за заявку» | да или noindex | появляется после того, как клиент отправил форму |
Шаблонные юридические тексты часто совпадают с текстами на других сайтах, но закрывать их в Disallow не обязательно. Поисковики понимают, что это служебная информация, и такие страницы не ухудшают рейтинг ресурса. Если не хочется видеть их в выдаче, используйте noindex: робот сможет перейти по ссылкам и учесть, что у компании есть политика и реквизиты, но сами страницы не будут показываться в поиске.
Ошибка
Закрыть в Disallow страницы с контактами, реквизитами и отзывами, чтобы «не размывать» индекс. Эти страницы помогают поисковым системам оценить коммерческие факторы и надёжность бизнеса, а их отсутствие в индексе может привести к снижению позиций по коммерческим запросам.
Как закрыть лишних ботов
Сайты в интернете обходят не только роботы поисковых систем. Кроме них, веб-ресурсы посещают сервисы анализа ссылок, SEO-инструменты, парсеры цен, спам-боты и ИИ-краулеры. Часть из них соблюдает правила robots.txt, и их можно закрыть отдельной группой User-agent с Disallow: /. Это снижает нагрузку на сервер и защищает контент от лишнего использования.
- Сервисы анализа ссылок и SEO-инструменты: AhrefsBot, SemrushBot, MJ12bot
- ИИ-краулеры: GPTBot, ClaudeBot, CCBot и другие, если вы не хотите, чтобы контент использовали для обучения моделей
- Роботы рекламных систем обычно закрывать не нужно: они проверяют посадочные страницы для контекстной рекламы
Важно понимать: robots.txt — это просьба, а не защита. Добросовестные роботы поисковых систем и крупных сервисов её соблюдают, а спам-боты и парсеры часто игнорируют. Для защиты от таких источников нагрузки используют настройки сервера, фаерволы и защиту от ботов на уровне хостинга.
Disallow для интернет-магазина и блога
В интернет-магазине количество адресов растёт быстрее всего: фильтры по цене, бренду и размеру, сортировки, сравнение товаров, избранное, страницы оплаты и оформления заказа. Если не закрыть такие адреса, робот будет индексировать тысячи похожих страниц, а карточки новых товаров будут попадать в поиск с задержкой.
| Что закрываем | Пример строки | Комментарий |
|---|---|---|
| Корзина и оформление заказа | Disallow: /cart/ и Disallow: /order/ | личные данные клиентов и оплата |
| Сравнение и избранное | Disallow: /compare/ и Disallow: /wishlist/ | страницы без самостоятельного содержимого |
| Сортировки | Disallow: /*?sort= и Disallow: /*&order= | дубли каталога с другим порядком |
| Технические фильтры | Disallow: /*?filter= | закрывают, если фильтры не продвигаются как отдельные страницы |
| Количество на странице | Disallow: /*?limit= | копии категорий с разным количеством товаров |
Фильтры, которые приносят поисковый трафик — например, «кроссовки для бега» или «диваны серого цвета», — закрывать нельзя. Их лучше оформить как отдельные посадочные страницы с ЧПУ, собственным title, текстом и описанием. Решение о том, какие фильтры открыть, принимают на основе спроса и анализа конкурентов, а остальные закрывают в Disallow.
Для блога обычно закрывают страницы поиска, служебные архивы, страницы авторов без содержимого и параметры сортировки комментариев. Сами статьи, рубрики и теги с полезным содержанием должны оставаться открытыми, иначе блог не будет получать трафик.
Ошибка
Закрыть в Disallow все адреса с вопросительным знаком, включая страницы пагинации. Тогда робот не сможет переходить на вторую и следующие страницы каталога и найдёт меньше товаров. Для пагинации лучше добавить исключение через Allow.
Для бизнеса правильные правила в robots.txt — это простой способ ускорить индексацию новых товаров и услуг и не терять позиций из-за дублей. Если в команде нет SEO-специалистов, хотя бы раз в квартал проверяйте файл в Вебмастере и смотрите отчёт об исключённых страницах.
Примеры robots.txt с Disallow
Ниже — типовые наборы правил для разных ситуаций. Их нужно адаптировать под структуру конкретного сайта и проверить перед публикацией.
Закрыть весь сайт
User-agent: * и Disallow: / — подходит для тестовой версии или сайта в разработке.
Открыть весь сайт
User-agent: * и пустой Disallow: — робот может сканировать все страницы.
Закрыть админку и поиск
Disallow: /admin/ и Disallow: /search/ — стандартный набор для большинства сайтов.
Закрыть параметры
Disallow: /*?sort= и Disallow: /*utm_ — убирает дубли каталога и посадочных страниц.
Закрыть файлы одного типа
Disallow: /*.pdf$ — запрещает сканирование всех PDF-документов.
Указать карту сайта
Sitemap: https://site.ru/sitemap.xml — помогает роботу найти все важные страницы.
Для WordPress обычно закрывают /wp-admin/, оставляя доступ к /wp-admin/admin-ajax.php, а также страницы поиска и служебные параметры. Для Битрикс — папку /bitrix/, личный кабинет, корзину, поиск и параметры сортировки и фильтров, но открывают файлы стилей и скриптов шаблона. Для сайтов на uCoz и других конструкторах часть правил задаёт сама платформа, и их стоит проверить, прежде чем добавлять свои.
Disallow для популярных CMS
У каждой платформы своя структура служебных директорий, поэтому готовый файл с одного сайта нельзя просто перенести на другой. Ниже — типовые запреты, с которых удобно начать. Перед публикацией сравните их с реальной структурой ресурса и проверьте ключевые адреса в Вебмастере.
| Платформа | Типовые строки Disallow | Что оставить открытым |
|---|---|---|
| WordPress | /wp-admin/, /wp-login.php, /?s=, /*?replytocom= | /wp-admin/admin-ajax.php, /wp-content/uploads/ |
| Битрикс | /bitrix/, /personal/, /auth/, /search/, /*?print= | /bitrix/templates/*.css и *.js, /upload/ |
| Joomla | /administrator/, /cache/, /tmp/, /component/search/ | /images/, /media/, файлы шаблона |
| OpenCart | /admin/, /*route=account/, /*route=checkout/, /*?sort= | /image/, /catalog/view/ |
| Tilda и конструкторы | служебные страницы задаёт платформа | основные страницы и изображения |
| Самописный сайт | /cgi-bin/, /api/, /tmp/, служебные скрипты | все страницы для пользователей |
На хостинге с панелью управления иногда существует директория /cgi-bin/ со скриптами сервера. Её закрывают в Disallow, потому что там нет страниц для людей. Папки с изображениями, например /upload/ или /images/, наоборот, должны оставаться открытыми: иначе картинки не попадут в поиск по изображениям, а Google Images и Яндекс Картинки перестанут приводить трафик.
Многие CMS умеют создавать robots.txt автоматически, и вы можете поручить это платформе. При этом а плагины SEO-оптимизации позволяют редактировать его из админки. Это удобно, но такие генераторы часто добавляют лишние правила или, наоборот, не учитывают фильтры каталога. После установки плагина или обновления платформы откройте файл и проверьте, что в нём нет запретов, которые блокируют важные разделы.
Ошибка
Скопировать robots.txt из чужой статьи или с сайта конкурента. Его правила соответствуют другой структуре адресов, а управление обходом с чужими правилами работает непредсказуемо: часть строк ничего не закрывает, а некоторые могут заблокировать ваши категории или карточки товаров.
Как проверить правила Disallow
После любого изменения robots.txt обязательно проверьте, что нужные страницы остались открытыми. Ошибка в одном символе может закрыть от сканирования целый раздел сайта.
Откройте файл в браузере
адрес site.ru/robots.txt должен отдавать код 200 и показывать актуальные правила.
Проверьте в Яндекс Вебмастере
инструмент анализа robots.txt покажет ошибки синтаксиса и проверит список адресов.
Проверьте в Google Search Console
отчёт о файле robots.txt показывает, какую версию видит Google и есть ли ошибки.
Проверьте ключевые страницы
главная, разделы каталога, карточки товаров и статьи должны быть разрешены.
Следите за индексацией
после изменений посмотрите, не выросло ли число исключённых страниц.
Если сайт большой, полезно сделать обход краулером и посмотреть, какие страницы он считает закрытыми в robots.txt. Это помогает заметить случайные запреты и правила, которые закрывают больше, чем нужно. Регулярную проверку удобно поручить техническому аудиту.
Как проверить Disallow в Вебмастере и Search Console
Проверка robots.txt занимает несколько минут, но помогает избежать проблем, которые потом исправляются неделями. Оба главных инструмента бесплатны и доступны после подтверждения прав на сайт.
Анализ robots.txt в Яндекс Вебмастере
В Яндекс Вебмастере откройте раздел «Инструменты» и выберите «Анализ robots.txt». Сервис загрузит текущую версию файла с сайта. Можно отредактировать текст прямо в поле и проверить, как изменится результат, ещё до загрузки файла на хостинг.
Проверьте ошибки
сервис подсветит строки, которые робот не понимает, и предупредит о неверном синтаксисе.
Добавьте список адресов
вставьте адреса главной, категорий, карточек, статей и служебных страниц.
Посмотрите результат
для каждого адреса будет указано, разрешён он или запрещён и каким правилом.
Сохраните изменения на сайте
если результат вас устраивает, обновите файл на сервере и снова загрузите его в инструмент.
Дополнительно стоит посмотреть раздел «Индексирование» → «Страницы в поиске» и фильтр исключённых страниц. Если там появляются адреса со статусом запрета в robots.txt, которые должны быть в поиске, значит правило закрывает лишнее.
Отчёт о файле robots.txt в Google Search Console
В Google Search Console отчёт находится в настройках ресурса. Он показывает, какие файлы robots.txt Google нашёл для сайта и его поддоменов, дату последней загрузки, код ответа и ошибки разбора. Если файл недавно изменился, через отчёт можно запросить повторное сканирование, чтобы Google быстрее получил новую версию.
Чтобы проверить отдельную страницу, используйте инструмент проверки URL. Он покажет, разрешено ли сканирование, и если адрес заблокирован, укажет на это в отчёте. Отдельного тестера, который был раньше, в новой версии Search Console нет, поэтому сложные правила удобно проверять в Вебмастере или в открытых библиотеках разбора robots.txt.
| Статус в отчёте | Что значит | Что делать |
|---|---|---|
| Заблокировано в файле robots.txt | Google не сканирует адрес из-за правила | убедиться, что запрет нужен |
| Проиндексировано, несмотря на блокировку в файле robots.txt | адрес в индексе без сканирования, обычно из-за ссылок | открыть адрес и добавить noindex |
| Запрещено в robots.txt в Вебмастере | Яндекс исключил адрес из обхода | проверить, нужна ли страница в поиске |
| Ошибка загрузки robots.txt | сервер не отдаёт файл или отдаёт ошибку 5xx | исправить ответ сервера |
Важно
Если сервер отвечает на запрос robots.txt ошибкой 5xx, Google на время считает, что сканировать весь сайт запрещено. Код 404 для файла, наоборот, означает отсутствие ограничений. Поэтому важно следить не только за содержанием файла, но и за кодом ответа сервера.
Для регулярного контроля удобно сохранять копию файла и сравнивать её с текущей версией после каждого релиза. Многие сервисы мониторинга умеют автоматически присылать уведомление, если robots.txt изменился, и это помогает заметить ошибку раньше, чем упадёт трафик.
Частые ошибки с Disallow
- Оставить Disallow: / после разработки — сайт постепенно выпадает из поиска.
- Закрыть CSS, JavaScript и изображения — поисковик не может правильно отрисовать страницу.
- Закрыть страницы с noindex — робот не видит запрет индексации, и страницы остаются в поиске.
- Забыть слеш или поставить лишний — правило закрывает больше или меньше, чем нужно.
- Использовать Disallow для борьбы с дублями, которые нужны пользователям, вместо canonical.
- Создать отдельную группу для Яндекса и не перенести в неё общие правила.
- Закрыть страницы, на которые ведут внешние ссылки, — сигналы от ссылок не передаются дальше.
Совет
Храните историю изменений robots.txt и проверяйте файл после каждого обновления CMS и релиза. Мониторинг изменений robots.txt помогает быстро заметить случайный запрет до того, как он повлияет на трафик.
Чек-лист проверки Disallow
Используйте этот список, когда идёт создание нового файла, а также после переезда, редизайна и обновления CMS. Он помогает быстро убедиться, что правила работают корректно и не мешают продвижению.
- Файл доступен по адресу site.ru/robots.txt и отдаёт код 200
- На рабочем сайте нет строки Disallow: / для всех роботов
- Главная, категории, карточки товаров, услуги и статьи разрешены для сканирования
- Служебные разделы CMS, корзина, личный кабинет и поиск по сайту закрыты
- Файлы CSS, JavaScript и изображения открыты
- Параметры сортировки, сессии и метки закрыты через Disallow или склеены через Clean-param
- Пагинация и продвигаемые фильтры не попали под общий запрет
- В отдельных группах для Яндекса и Google повторены все общие правила
- Страницы с noindex не закрыты в Disallow
- Указан полный адрес карты сайта в директиве Sitemap
- Файл проверен в Вебмастере и в отчёте Search Console
- У каждого поддомена есть свой robots.txt
Совет
Добавьте проверку robots.txt в процесс выкладки сайта: перед каждым релизом разработчик сравнивает файл с эталонной версией. Это самый простой способ избежать ситуации, когда тестовый запрет попадает на рабочий домен.
Главное
- Disallow — директива robots.txt, которая запрещает роботам сканировать указанные адреса сайта.
- Правило всегда относится к группе User-agent: можно задать разные запреты для Яндекса, Google и других ботов.
- Пустой Disallow разрешает всё, а Disallow: / запрещает сканирование всего сайта.
- Allow открывает отдельные адреса внутри закрытого раздела; при конфликте побеждает более длинное правило.
- Disallow не гарантирует удаление из индекса: для этого нужен noindex, а страница должна оставаться доступной для сканирования.
Какие инструменты Титло помогают проверить правила Disallow
После изменения robots.txt важно убедиться, что нужные страницы открыты, а мусорные закрыты. Эти модули помогают это проверить.
Связанные термины
Термины без ссылки ещё в работе — ссылки появятся после публикации.