Титло
Технический SEO и индексацияСинонимы: X-Robots-Tag, заголовок X-Robots-Tag, HTTP-заголовок robots, x robots tag noindex, X-Robots-Tag header

Что такое X-Robots-Tag

Обновлено Время чтения: 21 мин

Коротко

X-Robots-Tag — это HTTP-заголовок, который сервер отправляет вместе с ответом на запрос страницы или файла. В нём указываются те же директивы, что и в мета-теге robots: noindex, nofollow, nosnippet, noarchive и другие. Главное отличие — заголовок работает для любого типа контента: HTML-страниц, PDF-документов, изображений, видео и других файлов, в которые нельзя добавить мета-тег. Директивы X-Robots-Tag поддерживают Google и Яндекс.

Что такое X-Robots-Tag простыми словами

Когда поисковый робот запрашивает страницу или файл, сервер отправляет ему не только содержимое, но и набор служебных строк — HTTP-заголовков. В них передаётся код ответа, тип контента, дата, настройки кэширования. X-Robots-Tag — один из таких заголовков: в нём сайт сообщает роботу правила индексации, например «не добавлять этот файл в поиск» или «не переходить по ссылкам».

По смыслу X-Robots-Tag — это тот же мета-тег robots, только передаётся он не в HTML-коде страницы, а в ответе сервера. Поэтому его можно использовать там, где мета-тег добавить нельзя: для PDF-документов, изображений, видео, файлов Word и Excel, архивов. Кроме того, заголовок удобно задавать сразу для группы файлов или целого раздела сайта через конфигурацию сервера.

  1. Запрос

    поисковый робот запрашивает URL — страницу, PDF или изображение

  2. Ответ сервера

    сервер отдаёт код ответа, HTTP-заголовки и содержимое файла

  3. Чтение заголовков

    робот находит X-Robots-Tag и считывает директивы

  4. Применение правил

    файл не индексируется, не показывается в результатах поиска или показывается без сниппета

Как робот получает правила из X-Robots-Tag

Важно

X-Robots-Tag работает, только если робот может загрузить файл. Если адрес закрыт в robots.txt через Disallow, робот не сделает запрос, не увидит заголовок и не узнает о noindex.

Как выглядит заголовок в ответе сервера

Заголовок передаётся в ответе сервера вместе с другими заголовками. Вот пример HTTP response для PDF-файла, который закрыт от индексации:

Пример ответа сервера
Заголовок Значение
HTTP/1.1 200 OK
Date Tue, 17 Nov 2026 10:00:00 GMT
Content-Type application/pdf
X-Robots-Tag noindex, nofollow

Директив может быть несколько — они перечисляются через запятую. Можно задать правила для конкретного робота: сначала указывается имя user-agent, затем двоеточие и директивы. Например, строка X-Robots-Tag: googlebot: nofollow применяется только к роботу Google, а X-Robots-Tag: otherbot: noindex, nofollow — к другому роботу. Если имя робота не указано, правило применяется ко всем поисковым системам.

Ответ может содержать несколько заголовков X-Robots-Tag — роботы объединяют все правила. Если правила противоречат друг другу, поисковики обычно выбирают более строгое ограничение.

Директивы X-Robots-Tag

В заголовке можно использовать те же директивы, что и в мета-теге robots. Основные из них поддерживают и Google, и Яндекс, но часть правил работает только в одной поисковой системе.

Основные директивы
Директива Что делает Поддержка
noindex запрещает показывать страницу или файл в результатах поиска Google, Яндекс
nofollow запрещает переходить по ссылкам на странице Google, Яндекс
none равно noindex, nofollow Google, Яндекс
all нет ограничений, значение по умолчанию Google, Яндекс
noarchive запрещает показывать сохранённую копию Яндекс, поддержка в Google снижена
nosnippet запрещает показывать сниппет и видео-превью в выдаче Google
max-snippet ограничивает длину текстового сниппета числом символов Google
max-image-preview задаёт размер превью изображения: none, standard или large Google
max-video-preview ограничивает длину превью видео в секундах Google
noimageindex запрещает индексировать изображения на странице Google
unavailable_after дата, после которой файл не нужно показывать в поиске Google
indexifembedded разрешает индексировать контент, встроенный через iframe, при noindex Google
notranslate не предлагать перевод страницы в результатах поиска Google
Если правило не указано, поисковик считает, что ограничений нет. Неизвестные директивы роботы игнорируют.

Совет

Для управления видом сниппета в Google удобно сочетать max-snippet, max-image-preview и max-video-preview. Например, значение max-image-preview: large разрешает показывать большие изображения в поиске и в Google Discover. Подробнее о сниппетах — в статье про расширенный сниппет.

Описание правил в справке Google

Ниже — краткие формулировки правил так, как они описаны в англоязычной документации Google Search Central, с пояснением на русском. Это помогает сверить настройки с первоисточником, когда вы читаете guide для разработчиков или отчёт Search Console.

Правила и их описание в документации
Rule Формулировка в документации Пояснение
all There are no restrictions for indexing or serving. This rule is the default value and has no effect if explicitly listed. значение по умолчанию, ограничений нет
noindex Do not show this page, media, or resource in search results. If you don't specify this rule, the page may be indexed and shown in search results. страница или файл не показывается в выдаче
nofollow Do not follow the links on this page. If you don't specify this rule, Google may use the links on the page to discover those linked pages. робот не переходит по ссылкам
none Equivalent to noindex, nofollow. оба запрета сразу
nosnippet Do not show a text snippet or video preview in the search results for this page. A static image thumbnail may still be visible. без описания в выдаче
indexifembedded Google is allowed to index the content of a page if it's embedded in another page through iframes or similar HTML elements, despite a noindex rule. работает только вместе с noindex
max-snippet: number Use a maximum of number characters as a textual snippet for this search result. If no number is specified, the rule is ignored. ограничение длины сниппета
max-image-preview: setting Set the maximum size of an image preview for this page in search results. Values: none, standard, large. размер превью картинки
max-video-preview: number Use a maximum of number seconds as a video snippet for videos on this page in search results. длина превью видео
notranslate Don't offer translation of this page in search results. без ссылки на перевод
noimageindex Do not index images on this page. картинки страницы не индексируются
unavailable_after: date Do not show this page in search results after the specified date or time. The date must be specified in a widely adopted format. файл исчезает из поиска после даты
Формулировки сокращены. Полный список правил и примеры — в разделе Robots meta tag, data-nosnippet, and X-Robots-Tag specifications документации Google Search Central.

Как сказано в той же справке, the X-Robots-Tag can be used to specify rules for a specific crawler: for example, X-Robots-Tag: googlebot: nofollow. Multiple rules can be combined in a comma-separated list or specified in multiple headers. When rules conflict, the more restrictive rule applies. Для Яндекса аналогичные правила описаны в справке Вебмастера в разделе о мета-теге robots и HTTP-заголовке X-Robots-Tag.

X-Robots-Tag, meta robots и robots.txt: в чём разница

Все три способа управляют тем, как поисковые системы работают с сайтом, но решают разные задачи. robots.txt управляет сканированием, а мета-тег robots и X-Robots-Tag — индексацией и показом в поиске.

Сравнение способов
Параметр robots.txt meta robots X-Robots-Tag
Что управляет сканированием индексацией и показом индексацией и показом
Где задаётся файл в корне сайта тег в HTML-коде страницы HTTP-заголовок ответа сервера
Типы файлов любые URL только HTML любые файлы
Массовая настройка по шаблонам путей через шаблон CMS через конфигурацию сервера
Убирает из индекса не гарантирует да, после обхода да, после обхода

robots.txt

Используйте, когда нужно сэкономить ресурсы робота и запретить обход служебных разделов. Не подходит, чтобы убрать страницу из поиска.

meta robots

Используйте для отдельных HTML-страниц, когда доступ к шаблону есть, а к настройкам сервера нет.

X-Robots-Tag

Используйте для файлов без HTML, для массовых правил по типу файлов и когда нужно задать правила на уровне сервера.

Ошибка

Закрыть PDF-файлы в robots.txt и добавить им X-Robots-Tag: noindex. Робот не может загрузить файл, не видит заголовок, и документ остаётся в индексе без описания. Сначала разрешите сканирование, дождитесь удаления из индекса, а уже потом решайте, нужен ли запрет в robots.txt.

Как настроить X-Robots-Tag

Заголовок добавляют в конфигурации веб-сервера или в коде сайта. Способ зависит от того, на каком сервере работает сайт и какие файлы нужно закрыть.

Примеры настройки
Где Задача Пример
Apache, файл .htaccess закрыть от индексации все PDF <FilesMatch "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </FilesMatch>
Apache, файл .htaccess закрыть изображения <FilesMatch "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </FilesMatch>
Nginx, конфигурация сервера закрыть PDF location ~* \.pdf$ { add_header X-Robots-Tag "noindex, nofollow"; }
Nginx, конфигурация сервера закрыть тестовый поддомен целиком add_header X-Robots-Tag "noindex, nofollow" always;
PHP закрыть отдельную страницу header("X-Robots-Tag: noindex", true);
Next.js или другой фреймворк правило для группы URL заголовок задаётся в настройке headers для нужного пути

Для Apache нужен включённый модуль mod_headers. После изменения конфигурации Nginx сервер нужно перезагрузить. Если сайт работает на CMS, заголовок можно добавить через плагин SEO или в функции темы, но для файлов, которые сервер отдаёт напрямую, надёжнее настройка на уровне сервера.

Важно

Будьте осторожны с правилами для всего сайта. Строка Header set X-Robots-Tag "noindex", добавленная в корневой .htaccess без условия, закроет от индексации все страницы. Такая ошибка часто остаётся после разработки на тестовом сервере и переносится на рабочий сайт.

Когда использовать X-Robots-Tag

  • PDF и документы: прайсы, инструкции, договоры, которые не должны конкурировать в поиске с HTML-страницами.
  • Изображения и видео: служебные картинки, превью, файлы, которые не нужны в поиске по картинкам.
  • Тестовые и staging-версии сайта: закрыть весь поддомен одной строкой в конфигурации сервера.
  • Служебные файлы: выгрузки фидов, файлы для партнёров, технические страницы, которые отдаёт API.
  • Страницы без доступа к HTML: когда шаблон менять сложно, а конфигурацию сервера — можно.
  • Управление сниппетами: ограничить длину описания или размер превью в результатах поиска Google.
  • Не используйте X-Robots-Tag, чтобы скрыть страницу с конфиденциальной информацией: файл остаётся доступен по прямой ссылке. Для этого нужна защита паролем или ограничение доступа.

Как проверить X-Robots-Tag

Заголовок не виден на странице, поэтому при SEO-аудите его проверяют отдельно. Особенно важно сделать это после переезда, обновления CMS или изменений в настройках сервера.

  1. Инструменты разработчика

    откройте страницу в браузере, нажмите F12, перейдите на вкладку Network, выберите первый запрос и посмотрите Response Headers.

  2. Командная строка

    выполните curl -I с адресом страницы — сервер вернёт только заголовки ответа.

  3. Онлайн-сервис

    введите URL в проверку HTTP-заголовков — сервис покажет все заголовки, включая X-Robots-Tag.

  4. Google Search Console

    инструмент проверки URL покажет, разрешена ли индексация и не мешает ли ей noindex в заголовке.

  5. Яндекс Вебмастер

    инструмент «Проверить статус URL» и отчёт об исключённых страницах покажут, если страница исключена из-за запрета.

Совет

При аудите проверяйте не только HTML-страницы, но и файлы: PDF, изображения, документы. Сканер, который читает заголовки ответа, найдёт адреса, где noindex появился по ошибке. Подробнее о проверках — в статье про индексацию сайта.

Термины X-Robots-Tag в англоязычной документации

Основная документация по заголовку — на английском: справка Google Search Central для разработчиков и справочник MDN Web Docs. Чтобы было проще читать первоисточники, вот как переводятся ключевые термины и фразы, которые там встречаются.

Англоязычные термины и их значение
Термин в документации Перевод Что означает
robots meta tag мета-тег robots тег meta name="robots" content="noindex" в разделе head HTML-страницы
X-Robots-Tag HTTP header HTTP-заголовок X-Robots-Tag правила индексации в ответе сервера (HTTP response header)
indexing and serving rules правила индексации и показа директивы, которые определяют, будет ли page, media or resource indexed and shown in search results
crawlers, search engine crawlers поисковые роботы программы, которые загружают страницы: Googlebot, YandexBot и другие bots
crawling and indexing сканирование и индексирование crawl — загрузка URL, indexing — добавление в индекс поисковой системы
search results результаты поиска все формы выдачи: web search, images, video, Google Discover
snippet, text snippet сниппет описание страницы в выдаче; управляется через nosnippet и max-snippet
data-nosnippet атрибут data-nosnippet HTML attribute для элемента span, div или section, текст которого нельзя показывать в сниппете
user agent token имя робота значение вроде googlebot, которое указывают перед директивами для конкретного робота
non-HTML files файлы без HTML PDF, image files, video, документы, к которым нельзя добавить meta tag
configuration files файлы конфигурации .htaccess и httpd.conf в Apache, nginx.conf в Nginx
rule applies to all правило для всех роботов если user agent не указан, правило применяется ко всем поисковым системам
if omitted если не указано значение по умолчанию — all, то есть ограничений нет

Типичная фраза из справки Google: «The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag». Её смысл: любое правило, которое можно указать в мета-теге robots, можно передать и в заголовке X-Robots-Tag. Ещё одно важное замечание из документации: rules are ignored if the page is blocked by robots.txt — если URL закрыт для сканирования, робот не увидит правила индексации.

Совет

В MDN Web Docs заголовок описан в разделе HTTP headers. Там же есть таблица directives с пометками о поддержке и примеры синтаксиса — удобно, если вы настраиваете заголовки для нескольких поисковых систем сразу.

X-Robots-Tag и краулинговый бюджет

Частое заблуждение — что noindex в заголовке экономит краулинговый бюджет. На самом деле, чтобы увидеть X-Robots-Tag, робот должен загрузить файл, поэтому запрос всё равно тратится. Со временем поисковики реже обходят адреса с noindex, но полностью сэкономить ресурсы робота помогает только запрет в robots.txt.

Нужно убрать файл из поиска

Используйте X-Robots-Tag: noindex и оставьте файл доступным для сканирования. После того как документ пропадёт из индекса, при необходимости можно добавить Disallow.

Нужно экономить обход

Используйте Disallow в robots.txt для служебных разделов, фильтров и параметров, которые не должны индексироваться и не находятся в поиске.

Нужно и то и другое

Сначала noindex, дождаться удаления из выдачи, потом Disallow. Порядок важен: обратный вариант оставит адреса в индексе.

Для крупных проектов — интернет-магазинов с тысячами файлов и страниц фильтров — правильный выбор между этими способами напрямую влияет на скорость индексации важных страниц и, как следствие, на продвижение и рост позиций.

X-Robots-Tag в SEO-продвижении

Для SEO-специалистов X-Robots-Tag — инструмент технической оптимизации, который помогает держать в индексе только полезные страницы. Когда в поиске оказываются PDF-дубли каталога, служебные изображения или тестовые страницы, они конкурируют с основными страницами сайта, размывают релевантность и мешают пользователям находить нужный контент.

  • Закройте PDF-версии страниц, которые дублируют HTML-контент: прайсы, каталоги, карточки товаров в формате документа
  • Оставьте в индексе полезные документы, по которым ищут клиенты: инструкции, сертификаты, технические описания
  • Закройте тестовые версии сайта и поддомены разработки на уровне сервера
  • Управляйте видом сниппета в Google через max-snippet и max-image-preview, чтобы повысить кликабельность
  • Регулярно проверяйте заголовки при аудите и после каждого релиза, чтобы случайный noindex не обрушил трафик

Для интернет-магазина типичная задача — закрыть от индексации архивы прайсов и служебные списков товаров в формате документа, но оставить в поиске страницы каталога с ценами и описаниями. Анализ индекса с помощью оператора site: и отчётов Вебмастера показывает, какие файлы уже попали в поиск. Затем SEO-специалист составляет полный список правил, команда разработки добавляет их в конфигурацию, а после обновления проводится контроль: проверяются заголовки и через пару недель — изменения в индексе. Такой простой процесс даёт понятный результат и помогает сохранить релевантность основных страниц по ключевым фразам.

Отдельный вопрос — роботы сервисов на основе искусственного интеллекта. Многие из них ориентируются на robots.txt и собственные user agent, а поддержка правил из X-Robots-Tag у разных ботов разная. Если нужно ограничить использование контента такими сервисами, проверьте документацию каждого из них.

Другие HTTP-заголовки, важные для SEO

X-Robots-Tag — не единственный заголовок ответа сервера, который влияет на работу поисковых роботов. При техническом анализе сайта полезно проверять весь набор: часть заголовков управляет индексацией, часть — кэшированием, языком и доступом к ресурсам.

Заголовки рядом с X-Robots-Tag
Заголовок Пример Для чего
Link Link: <https://site.ru/page/>; rel="canonical" указывает канонический URL для PDF и других файлов без HTML
Content-Type Content-Type: text/html; charset=utf-8 тип контента и кодировка: от него зависит, как робот обработает файл
Content-Language Content-Language: ru язык контента, дополнительный сигнал для поисковиков
Cache-Control Cache-Control: max-age=3600 правила кэширования, влияют на скорость загрузки
Last-Modified Last-Modified: Tue, 17 Nov 2026 10:00:00 GMT дата изменения, помогает роботу понять, обновился ли файл
Content-Security-Policy Content-Security-Policy: default-src 'self' политика безопасности, какие ресурсы может загружать страница
Access-Control-Allow-Origin Access-Control-Allow-Origin: * правила CORS — кросс-доменный доступ к ресурсам из JavaScript

Заголовок Link с rel="canonical" особенно полезен в паре с X-Robots-Tag. Если PDF дублирует HTML-страницу, можно не закрывать его noindex, а указать каноническую страницу — тогда поисковик склеит дубли и передаст сигналы основной странице. Подробнее о заголовках ответа — в статье про HTTP-заголовки, а о кодах — про код ответа сервера.

X-Robots-Tag и сайты на JavaScript

На сайтах, где контент формируется скриптами, правила индексации иногда пытаются менять через JavaScript: например, добавлять мета-тег robots после загрузки страницы. С заголовком так не получится — X-Robots-Tag отдаётся сервером до выполнения скриптов. Это делает его надёжнее: робот получает правило сразу при загрузке, до рендеринга.

  • Если в заголовке стоит noindex, Google может не выполнять рендеринг страницы, и удалить запрет через JavaScript уже не получится.
  • Для SPA и сайтов на фреймворках правила лучше задавать на уровне сервера или в настройке headers фреймворка для нужных маршрутов.
  • При серверном рендеринге проверяйте, что заголовок одинаковый для всех вариантов ответа — для робота и для пользователя.

Ошибка

Отдавать роботу и пользователю разные заголовки или менять правила в зависимости от user agent без необходимости. Это усложняет контроль и может привести к тому, что важные страницы выпадут из индекса.

X-Robots-Tag при разработке и переезде сайта

Заголовок удобен, чтобы закрыть от индексации тестовую версию на время разработки: одна строка в конфигурации сервера закрывает весь домен или поддомен, и не нужно менять шаблоны. Но именно здесь чаще всего случается неправильное использование — после переноса на рабочий домен правило забывают удалить.

  1. На тестовом сервере

    добавьте X-Robots-Tag: noindex, nofollow для всего поддомена, а лучше — закройте его паролем.

  2. Перед запуском

    проверьте конфигурацию рабочего сервера и убедитесь, что глобального noindex нет.

  3. После переезда

    проверьте заголовки главной, разделов и нескольких карточек через сервис проверки HTTP-заголовков.

  4. В первые недели

    следите за отчётами Вебмастера и Search Console: рост числа исключённых страниц — сигнал проверить правила.

Для команды разработки полезно добавить проверку заголовков в список шагов при каждом релизе. Мониторинг заголовков на ключевых страницах помогает вовремя заметить проблему, пока она не повлияла на позиции и трафик.

Краткая памятка для разработчиков на английском

Если сайтом занимается международная команда или подрядчик-разработчик, удобно передать ему короткую памятку на английском. Её можно скопировать в задачу или документацию проекта.

  • X-Robots-Tag is an HTTP response header that tells search engine crawlers how to index a file and whether it should be shown in search results. It works for any file type, including PDF, image files and other non-HTML resources.
  • Use it when you need to prevent indexing of documents, block certain file types from search, or set rules for a whole website or local development server at the server level.
  • To make the rule work, the crawler must be able to fetch the URL. Do not block the same file in robots.txt, otherwise the crawler will never see the header.
  • Check the header after every new release: open the developer tools, find the request in the Network tab and see the response headers, or run curl -I for the page. A tool that shows all HTTP headers also works.
  • Combine rules in one comma-separated list. Specify a user agent token before the rules only when you want them to apply to one bot; otherwise the rule applies to all crawlers.
  • Read the official documentation in Google Search Central and the MDN reference to learn which features and values each search engine supports, and keep the settings in your server configuration under version control.

Как составить строку заголовка: пошаговые шаги

Специальный генератор для X-Robots-Tag не нужен — строку несложно собрать вручную. Достаточно ответить на несколько вопросов и разместить результат в конфигурации сервера.

  1. Что закрыть

    определите файлы или раздел: все PDF, изображения определённого каталога, тестовый поддомен или конкретную страницу.

  2. Какие правила

    выберите директивы: noindex, чтобы убрать из поиска; nofollow, чтобы не передавать ссылки; nosnippet или max-snippet, чтобы управлять описанием.

  3. Для какого робота

    если правило нужно только для одной поисковой системы, укажите имя робота перед директивами.

  4. Где разместить

    Apache — .htaccess или конфигурация виртуального хоста, Nginx — блок server или location, CMS — плагин или код темы.

  5. Проверить

    откройте несколько адресов в сервисе проверки заголовков и убедитесь, что правило есть только там, где оно нужно.

Для каждой новой задачи лучше создавать отдельное правило с понятным комментарием в конфигурации. Так через год команда сможет понять, почему конкретный раздел закрыт от индексации, и не удалит нужную строку случайно.

Частые ошибки с X-Robots-Tag

  • Глобальный noindex в конфигурации сервера, оставшийся после разработки, — весь сайт пропадает из поиска.
  • Файл закрыт в robots.txt, поэтому робот не видит заголовок с noindex.
  • Противоречивые правила: в мета-теге index, в заголовке noindex — поисковик выберет более строгое правило.
  • Ошибка в синтаксисе: директивы без запятой или с опечаткой робот проигнорирует.
  • Правило задано для неверного типа файлов из-за ошибки в регулярном выражении FilesMatch или location.
  • Заголовок отдаётся только для части ответов: например, в Nginx без параметра always он не добавляется к ответам с ошибкой.

Чек-лист настройки X-Robots-Tag

  • Понятно, какие файлы и разделы нужно закрыть, а какие должны индексироваться
  • Правила заданы для нужных типов файлов и проверены на нескольких адресах
  • Важные страницы не получают noindex из конфигурации сервера
  • Закрытые файлы не запрещены в robots.txt, чтобы робот увидел заголовок
  • Правила в заголовке не противоречат мета-тегу robots
  • Заголовок проверен через инструменты разработчика, curl или онлайн-сервис
  • После изменений статус URL проверен в Вебмастере и Search Console

Главное

  • X-Robots-Tag — HTTP-заголовок с правилами индексации, который работает для любых файлов, а не только для HTML.
  • Директивы такие же, как у мета-тега robots: noindex, nofollow, nosnippet, noarchive, max-snippet и другие.
  • Настраивается в конфигурации сервера (Apache, Nginx) или в коде сайта.
  • Робот увидит заголовок, только если файл не закрыт в robots.txt: запрет сканирования не даёт прочитать noindex.
  • Проверить заголовок можно в инструментах разработчика браузера, через curl или сервис проверки HTTP-заголовков.

Какие инструменты Титло помогают с X-Robots-Tag

Заголовок не виден на странице, поэтому его стоит проверять отдельно — особенно после изменений в настройках сервера.

Связанные термины

Термины без ссылки ещё в работе — ссылки появятся после публикации.

Частые вопросы

Что такое X-Robots-Tag простыми словами?
Это служебная строка в ответе сервера, которая говорит поисковым роботам, можно ли индексировать файл и показывать его в поиске. Пользователь её не видит, а робот читает вместе с содержимым страницы.
Чем X-Robots-Tag отличается от мета-тега robots?
Мета-тег robots добавляется в код HTML-страницы, а X-Robots-Tag передаётся в HTTP-заголовке ответа сервера. Директивы у них одинаковые, но заголовок работает и для файлов без HTML: PDF, изображений, документов. Ещё заголовок удобно задавать сразу для группы файлов через настройки сервера.
Как закрыть PDF от индексации?
Добавьте для PDF-файлов заголовок X-Robots-Tag: noindex в настройках сервера. В Apache это делается через блок FilesMatch в .htaccess, в Nginx — через add_header в блоке location для файлов с расширением pdf.
Можно ли использовать X-Robots-Tag вместе с robots.txt?
Можно, но для одного и того же файла не стоит закрывать сканирование в robots.txt, если вы хотите, чтобы сработал noindex. Робот не загрузит запрещённый файл и не увидит заголовок, поэтому адрес может остаться в индексе.
Поддерживает ли Яндекс X-Robots-Tag?
Да. Яндекс учитывает директивы noindex, nofollow, none, noarchive и другие в заголовке X-Robots-Tag так же, как в мета-теге robots. Набор поддерживаемых правил у Яндекса и Google немного отличается.
Как проверить X-Robots-Tag на странице?
Откройте инструменты разработчика в браузере, вкладку Network, выберите запрос и посмотрите заголовки ответа. Также можно выполнить curl -I с адресом страницы или проверить URL в онлайн-сервисе проверки HTTP-заголовков.