Что такое файл robots.txt
Обновлено Время чтения: 20 мин
Коротко
robots.txt — это текстовый файл в корневом каталоге сайта, в котором владелец задаёт правила для поисковых роботов: какие URL можно сканировать, а какие закрыть от обхода. Файл не прячет страницы надёжно и сам по себе не равен запрету [индексации](/slovar/indeksatsiya/). Он лишь подсказка роботам, как тратить обход, и его должен уметь открыть любой желающий по адресу вида https://example.com/robots.txt.
Что такое robots.txt простыми словами
Когда поисковый робот приходит на сайт, он сначала пытается прочитать файл robots.txt. Это важно помнить при любой проверке обхода. Если файл доступен, робот смотрит, есть ли для него правила, и только потом решает, какие разделы обходить. Если файла нет или он отдаётся с ошибкой, обычно считают, что обход всего сайта разрешён.
По данным Wordstat за 09.09–08.10.2026 в России у запроса «robots txt» было 3 396 показов в широком соответствии, из них 3 156 — у самой формулировки «robots txt». Рядом идут практические хвосты: «файл robots txt» (450), «robots txt для сайта» (183), «проверить robots txt» (76), «проверка robots txt» (72), «robots txt тильда» (72), «robots txt и sitemap xml» (69), «robots txt disallow» (69), «robots txt запретить индексацию» (54) и «clean param в robots txt» (44).
Важно
Самая частая путаница: закрыть путь в robots.txt — не то же самое, что запретить индексацию. Директива Disallow ограничивает сканирование. Чтобы страница не попадала в индекс, обычно нужен noindex, который робот должен суметь прочитать. Подробнее об этом — в статье про индексацию сайта.
Где должен лежать файл и каким он должен быть
Файл должен называться именно robots.txt и находиться в корневом каталоге хоста, а не во вложенной папке. Для домена example.com правильный адрес — https://example.com/robots.txt. Вариант https://example.com/blog/robots.txt поисковые системы как основной файл правил не используют. У каждого хоста свой файл: у www и без www, у https и http это разные адреса, и робот читает robots.txt именно того хоста, который обходит.
- [Код ответа](/slovar/kod-otveta-servera/) 200. Файл должен открываться и отдаваться как обычный текст. Если сервер отвечает 404, 500 или бесконечным редиректом, робот может решить, что правил нет, или осторожничать с обходом — в зависимости от системы и кода.
- Разумный размер и простая кодировка. Яндекс указывает, что корректно обрабатывает файл размером до 500 КБ. На практике robots.txt должен быть коротким, в кодировке UTF-8, без лишней разметки и скриптов.
- Публичность. Файл специально открыт для всех. Им нельзя «спрятать» секретную админку: сам список запретов виден любому, кто откроет /robots.txt.
Создать файл можно вручную, через хостинг, CMS или конструктор. В Тильде и похожих платформах часто есть готовый шаблон, но его всё равно следует проверить: конструктор иногда закрывает лишнее или, наоборот, не указывает карту сайта. После публикации откройте адрес в браузере и убедитесь, что это именно ваш текст, а не страница 404 или HTML-заглушка.
Основные директивы robots.txt
Правила в файле собираются в группы. Группа начинается с директивы User-agent и дальше содержит указания для этого робота. Строки с символом # — комментарии, робот их игнорирует. Пустая строка обычно отделяет одну группу от другой.
| Директива | Что делает | Пример |
|---|---|---|
| User-agent | Указывает, для какого робота действуют следующие правила. Звёздочка означает всех роботов | User-agent: * |
| Disallow | Запрещает обходить указанный путь. Пустой Disallow ничего не закрывает, Disallow: / закрывает весь сайт | Disallow: /admin/ |
| Allow | Разрешает обход исключения внутри закрытого раздела | Allow: /catalog/ |
| Sitemap | Подсказывает адрес карты сайта. Можно указать несколько строк Sitemap | Sitemap: https://example.com/sitemap.xml |
| Clean-param | Для Яндекса: какие параметры URL не нужно учитывать как отдельные страницы | Clean-param: utm_source&utm_medium |
Базовый пример файла, который не закрывает сайт целиком, запрещает служебные разделы и указывает карту сайта:
| Строка файла |
|---|
| User-agent: * |
| Disallow: /admin/ |
| Disallow: /cart/ |
| Disallow: /search/ |
| Allow: / |
| Sitemap: https://example.com/sitemap.xml |
Директива User-agent должна быть в каждой группе. «User-agent: *» задаёт общие правила. Отдельные группы для Googlebot или для робота Яндекса пишут, когда нужно другое поведение. Более конкретное имя робота обычно важнее общей звёздочки, но детали сведения групп у поисковых систем отличаются, поэтому не стоит плодить десятки почти одинаковых блоков «на всякий случай».
В путях можно использовать спецсимволы. «*» заменяет любую последовательность символов, «$» означает конец URL. Например, «Disallow: /*.pdf$» закрывает от обхода PDF-файлы, а «Allow: /catalog/page$» разрешает только точный путь без хвоста. Такие правила нужно проверять на конкретных адресах: одна лишняя звёздочка легко закрывает целый каталог.
Совет
Чтобы закрыть весь сайт на время разработки, достаточно группы «User-agent: *» и директивы «Disallow: /». Перед запуском этот запрет обязательно снимают и проверяют, что роботы снова могут сканировать нужные разделы.
Чем отличаются правила для Яндекса и Google
Общие директивы — User-agent, Disallow, Allow и Sitemap — понимают и Яндекс, и Google. А вот «особые» строки нельзя копировать из старых инструкций без проверки: часть из них поисковые системы уже не учитывают.
| Тема | Яндекс | |
|---|---|---|
| User-agent, Disallow, Allow, Sitemap | Поддерживаются | Поддерживаются |
| Clean-param | Актуальна: помогает склеивать URL с незначимыми параметрами | Не является стандартной директивой Google |
| Host | Больше не учитывается: главное зеркало задают 301-редиректом и настройками Вебмастера | Игнорируется |
| Crawl-delay | С 22 февраля 2018 года не учитывается; скорость обхода настраивают в Вебмастере | Не используется; лимиты обхода задают иначе |
| Как проверить файл | Инструмент «Анализ robots.txt» в Яндекс Вебмастере | Отчёт robots.txt и проверка URL в Google Search Console |
Директиву Clean-param имеет смысл использовать, если на сайте много адресов с UTM-метками и служебными параметрами, которые не меняют содержание страницы. Яндекс тогда не будет считать каждый такой URL отдельным документом. В справке Вебмастера прямо сказано, что для части аналитических меток система может отбрасывать параметры и сама, но явный Clean-param по-прежнему полезен для своих служебных величин. Google эту директиву как стандартный язык robots.txt не использует: там параметры обычно настраивают другими средствами и через канонические адреса.
Со строками Host и Crawl-delay сегодня лучше не рассчитывать на эффект. Яндекс официально сообщил, что директива Host больше не нужна и её можно удалить: зеркало определяют по 301-редиректу. Crawl-delay робот Яндекса не учитывает с 22 февраля 2018 года; если нагрузка на сервер слишком высокая, скорость обхода меняют в Вебмастере, а лишние технические URL закрывают через Disallow. Google эти две директивы тоже не применяет как рабочий механизм управления обходом.
Как проверить файл robots.txt
Откройте файл в браузере
Введите https://ваш-домен/robots.txt и посмотрите, что именно отдаёт сервер. Должен открыться простой текст с директивами, а не страница ошибки, витрина или редирект на главную. Это первая и обязательная проверка.
Проверьте правила в Яндекс Вебмастере
В инструменте «Анализ robots.txt» можно загрузить текущий файл или черновик и увидеть, разрешён или запрещён конкретный URL для робота Яндекса. Так удобно поймать опечатку в Disallow до того, как она закроет нужный раздел.
Проверьте, как файл видит Google
В Google Search Console больше нет старого отдельного «тестера robots.txt»: его заменили отчётом о файлах robots.txt и проверкой URL. В отчёте видно, нашёл ли Google файл, были ли ошибки разбора и когда его обходили. Чтобы понять, закрыт ли конкретный адрес, используйте проверку URL и смотрите, разрешён ли обход.
Сверьте важные разделы после изменений
После правки файла не ограничивайтесь тем, что он «открывается». Проверьте главную, категории, карту сайта и служебные URL, которые вы хотели закрыть. Если закрыли CSS, скрипты или изображения, нужные для понимания страницы, робот может хуже обработать документ.
Дополнительно помогает аудит сайта и проверка индексации: они показывают, какие страницы робот не обходит и нет ли массового запрета, о котором вы не подозревали. Код ответа сервера для самого файла тоже стоит посмотреть отдельно: иногда /robots.txt отдаёт 301 на HTML или закрыт авторизацией.
Какие пути обычно закрывают, а какие лучше оставить открытыми
Файл robots.txt нужен не для того, чтобы закрыть как можно больше URL, а чтобы робот не тратил сканирование на служебное и дубли. Важно заранее указать, какие разделы реально мешают работе обхода, а какие должны остаться доступны. Если запретить лишнее, поисковые системы хуже поймут контент страницы и медленнее найдут новые материалы.
| Путь или тип URL | Обычно в файле | Почему так |
|---|---|---|
| Админка, корзина, личный кабинет, служебный поиск по сайту | Disallow | Это технические разделы, они редко нужны в обходе и не должны отбирать ресурс у полезных страниц |
| Фильтры и параметры, которые плодят почти одинаковые URL | Disallow или, для Яндекса, Clean-param | Иначе робот сканирует сотни копий вместо категорий и карточек |
| CSS, JavaScript, изображения, шрифты, нужные для отрисовки | Не закрывать | Без них робот хуже обрабатывает страницу и может не увидеть содержание |
| Карта сайта, основные разделы, карточки, статьи, страницы услуг | Оставить доступными, указать Sitemap | Это как раз те URL, которые поисковик должен находить и обновлять |
| Тестовый контур и дубль на поддомене | Свой отдельный файл, часто Disallow: / | У каждого домена свои правила; закрытый продакшен из‑за копии на dev — частая проблема |
Для интернет-магазина типичный набор такой: закрыть корзину, оформление заказа, сравнение, внутренний поиск и технические фильтры, а категории и карточки оставить открытыми. Для сайта услуг и блога набор проще, но принцип тот же. Следует смотреть не на «чужой шаблон», а на реальные пути своего домена: одна и та же директива на разных CMS указывает совершенно разные каталоги.
Отдельный случай — дубли с метками и параметрами сортировки. Если параметр не меняет контент, Яндексу полезно указать Clean-param, а не запрещать весь раздел оптом. Полный Disallow здесь отрезает и полезные адреса, если правило написано слишком широко. Google эту директиву не использует, поэтому для него важнее корректные канонические адреса и аккуратная структура ссылок.
Примеры правил и разбор синтаксиса
Ниже — несколько рабочих фрагментов, которые часто используют при настройке файла. Их нужно не копировать слепо, а проверить на своих URL: пути, слэши и спецсимволы влияют на результат буквально.
Закрыть только служебное, оставив сайт открытым:
| Строка файла |
|---|
| User-agent: * |
| Disallow: /admin/ |
| Disallow: /cgi-bin/ |
| Disallow: /search |
| Sitemap: https://example.com/sitemap.xml |
Разрешить исключение внутри закрытого каталога. Допустим, раздел /private/ закрыт, но одну страницу внутри нужно оставить доступной для сканирования:
| Строка файла |
|---|
| User-agent: * |
| Disallow: /private/ |
| Allow: /private/help.html |
Отдельная группа для робота Яндекса с Clean-param. Такое правило помогает не плодить копии из меток. Для Google эту строку можно не дублировать: он её как стандартную директиву не читает.
| Строка файла |
|---|
| User-agent: Yandex |
| Disallow: /cart/ |
| Clean-param: utm_source&utm_medium&utm_campaign |
| Sitemap: https://example.com/sitemap.xml |
Использование спецсимволов тоже должно быть точным. Правило «Disallow: /*?» закрывает любые URL со знаком вопроса и может отрезать полезные страницы пагинации или карточки, если они живут на параметрах. Правило «Disallow: /tmp/» запрещает только этот каталог и всё, что внутри него. Пустой «Disallow:» в группе означает, что этому агенту обход не запрещён. Именно поэтому нельзя путать пустой Disallow и «Disallow: /».
Формат файла простой, но к нему есть практические требования. Одна директива — одна строка. Название пишут латиницей, как в документации: User-agent, Disallow, Allow, Sitemap, Clean-param. Комментарий начинают с #, его можно поставить в конец строки. Не нужно вставлять в файл HTML, мета-теги, JavaScript и личные инструкции «для коллег» на полстраницы: робот читает директивы, а не пояснительный текст.
Как файл появляется в CMS и что проверить после публикации
На практике файл редко пишут только вручную. WordPress, 1С-Битрикс, конструкторы вроде Тильды и большинство панелей хостинга умеют создать robots.txt или отдать его через настройки SEO. Это удобно, но не снимает ответственность: генератор не знает, какие именно разделы вашего проекта нужно закрыть. После любого обновления плагина, темы или «технической оптимизации» стоит снова открыть файл и сверить правила.
С помощью Вебмастера и Search Console это делать проще, чем по памяти. Если главные страницы вдруг пропали из обхода, первым делом смотрят, не появился ли запрет на весь сайт, не закрыт ли каталог с шаблонами и не заблокирован ли sitemap.xml. Такие проблемы часто возникают не из-за «сложного SEO», а из-за одной новой строки, которую добавил модуль.
Есть и обратная ситуация: файл есть, но он почти пустой, а технический контент всё равно раздувает обход. Тогда нужно не «для галочки» держать robots.txt, а точечно запретить служебные пути и настроить параметры. Для Яндекса сюда же относится Clean-param. Дополнительно следят, чтобы внутренние ссылки не вели робота в тупики, которые вы только что закрыли: иначе он будет раз за разом натыкаться на запрет.
После публикации изменений дайте роботам время перечитать файл и точечно проверьте важные URL. Если вы закрыли раздел, который раньше обходился, обновление правил само по себе не удаляет страницы из индекса мгновенно. Чтобы убрать их из поиска, обычно нужен отдельный сценарий: noindex, удаление, 404 или 410, а не только новая строка Disallow. Это ещё раз возвращает к границе между обходом и индексацией.
Если коротко о рабочем порядке: сначала определяют, какие пути мешают сканированию, затем пишут или правят файл, затем проверяют его доступность и синтаксис, и только после этого смотрят, как себя ведут конкретные страницы в кабинетах вебмастеров. Так использование robots.txt остаётся инструментом управления обходом, а не источником внезапных просадок трафика.
Чем robots.txt отличается от мета-тегов и заголовков
Файл robots.txt — не единственный способ говорить с роботами. Есть ещё мета-тег robots и HTTP-заголовок X-Robots-Tag. Их легко перепутать, потому что во всех случаях фигурирует слово robots, но задачи разные. Файл влияет на доступ краулеров к путям сайта. Мета-тег и заголовок отвечают, можно ли использовать уже скачанное содержимое в индексе. Поэтому noindex в HTML или в HTTP headers не заменяет Disallow, и наоборот.
Типичный мета-тег выглядит так: «<meta name="robots" content="noindex, follow">». Его робот увидит, только если страница ему доступна для сканирования. Если тот же URL закрыт в robots.txt file, поисковик может не получить информацию из тега. Для пользователя визуально ничего не меняется: meta-директивы не прячут блок на экране, они адресованы ботам. Именно поэтому неправильная комбинация «закрыли в файле и поставили noindex» часто не даёт ожидаемого результата.
Важно указать это различие в регламенте работы с сайтом. Когда нужно просто не тратить обход на корзину или фильтры, достаточно правил в файле. Когда страница должна открываться людям, но не попадать в результаты поиска, следует оставить доступ для робота и закрыть индексирование через мета-теги или заголовок. Политика конфиденциальности, страница входа, служебная регистрация и «спасибо за заявку» — частые кейсы именно для noindex, а не для широкого Disallow.
Отдельные группы User-agent позволяют задать правила для определенных роботов, не только для Google и Яндекса. Например, можно отдельно описать поведение для Bing или для GPTBot, если вы хотите ограничить доступ конкретного сервиса. Это не инструмент продвижения и не способ «поднять позиции», а точечная настройка обхода. Перед тем как исключить целого бота, необходимо понять, зачем он заходит и не заблокируете ли вы полезную обработку страниц.
После создания и публикации файла нужен мониторинг. Бесплатный способ получить первую картину — просто открыть /robots.txt на каждом домене, затем сверить пути инструментами Вебмастера и Search Console. Регулярно это стоит делать после релизов, смены web-сервера, включения SSL и установки новых SEO-плагинов. Ошибка в регистре директивы, лишний слэш или слишком широкий wildcard может закрыть раздел, который вчера ещё обходился корректно.
Правильно составленный файл помогает и серверу: меньше бесполезных запросов, аккуратнее расходуется бюджет сканирования, быстрее доходят обновления полезных URL. Но он требует дисциплины. Логи сервера и отчёты обхода покажут, какие боты реально приходят и где срабатывает блокировка. Если краулеров слишком много на служебных путях, сначала проверяют правила и внутренние ссылки, и только потом меняют скорость обхода в кабинете. Рекомендации здесь простые: не закрывать стили и скрипты, не прятать карту сайта, не рассчитывать, что robots.txt заменит защиту административного контура.
На практике веб-сервер должен корректно отдать текстовый файл из корневого каталога, а веб-интерфейсы Вебмастера и Search Console — помочь проверить, как правила применяются к конкретным URL. Этот метод проще, чем гадать по позициям. Он включает и первичный обзор директив, и последующую аналитику покрытия. Компании с несколькими зеркалами и поддоменами следует отдельно указать правила для каждого хоста. Иначе легко скрыть от себя расхождение: на www файл уже новый, а на голом домене осталась старая версия.
Есть и детали синтаксиса, которые важно соблюдать строго. Названия директив пишут латиницей и обычно не зависят от регистра, но пути лучше сверять с реальной структурой, включая слэши и специальные символы. CMS может создавать файл автоматически; всё равно выберите и проверьте итоговый текст сами. Добавлять в него стоит только рабочие правила, а не комментарии на полстраницы. Правильный формат, понятные ссылки на карту сайта и вовремя снятый запрет, который ставили на время разработки, помогают не привести полезные разделы к случайной блокировке.
Сам формат исторически описан как Robots Exclusion Protocol: это открытый standard для поисковых bots, других crawlers и любого search engine. Правила каждого website в этом файле публичны. Файл не поднимает сайт в топ выдачи и не заменяет пароль: access к админке, кабинету клиента или почте так не защитить. Для бизнеса это просто технический инструмент обхода. Cookie-заглушка, которая закрывает содержание до согласия, может помешать обработке так же, как неверная директива: робот не всегда получает текст отзывов, контактов, записей блога или страниц с ценами, даже если в robots.txt путь открыт.
Типичные ошибки в robots.txt
- Закрыть весь сайт и забыть открыть «Disallow: /» на продакшене — частая причина, почему после запуска страницы не обходятся. Этот запрет нужно снимать сознательно и проверять файл сразу после релиза.
- Путать Disallow и noindex Закрытый в robots.txt URL робот может не скачать и не увидеть мета-запрет на индексацию. Если страница не должна быть в поиске, её обычно оставляют доступной для обхода и закрывают через noindex.
- Положить файл не в корень Правила из /site/robots.txt или из вложения CMS поисковик как основной файл не читает.
- Заблокировать то, что нужно для обхода Запрет на /wp-content/, CSS, JavaScript или служебные файлы отрисовки мешает роботу понять страницу. Закрывать следует служебные разделы, а не ресурсы, без которых документ «пустеет».
- Закрыть карту сайта или забыть про Sitemap Если sitemap.xml недоступен из-за Disallow, поисковая система хуже находит новые URL. Строку Sitemap в файле стоит указывать явно.
- Опечатка в синтаксисе Пропущенное двоеточие, кириллица в имени директивы, лишний пробел в пути или правило без User-agent могут обнулить задуманный запрет или, наоборот, закрыть лишнее.
- Считать файл средством безопасности Любой человек может его прочитать. Пароли, закрытый контур и авторизация защищают данные, а не строка Disallow.
Ещё одна рабочая ошибка — копировать чужой файл целиком. Правила должны соответствовать структуре именно вашего сайта. То, что нормально для интернет-магазина, может закрыть блог, а шаблон «из статьи 2015 года» может содержать уже бесполезные Host и Crawl-delay и при этом не закрывать реальную корзину и фильтры.
Главное
- robots.txt — это файл в корне сайта, который задаёт правила обхода для поисковых роботов. Его адрес выглядит как https://example.com/robots.txt, и он должен открываться с кодом 200.
- Основные директивы — User-agent, Disallow, Allow и Sitemap. Они работают и в Яндексе, и в Google. Закрыть путь в файле — не то же самое, что запретить индексацию.
- Clean-param по-прежнему актуален для Яндекса. Директивы Host и Crawl-delay Яндекс больше не учитывает: зеркало настраивают редиректом, скорость обхода — в Вебмастере.
- Проверяйте файл в браузере, через «Анализ robots.txt» в Яндекс Вебмастере и через отчёт и проверку URL в Google Search Console. После правок обязательно сверяйте важные разделы.
- Закрывать в файле следует служебные разделы и малоценные дубли, а не CSS, скрипты и основные страницы. Шаблон из CMS тоже нужно проверять: генератор не заменяет ручную сверку путей.
Проверка обхода и индексации в Титло
Файл robots.txt задаёт правила обхода, но результат видно по доступности страниц, кодам ответа и тому, какие URL попадают в индекс. Эти инструменты помогают связать директивы с фактическим состоянием сайта.
Связанные термины
Термины без ссылки ещё в работе — ссылки появятся после публикации.