Что такое noindex
Обновлено Время чтения: 20 мин
Коротко
noindex — это директива для поисковых систем, которая запрещает добавлять страницу в индекс. Чаще всего её задают в метатеге robots в HTML-коде страницы или в HTTP-заголовке X-Robots-Tag. Если поисковый робот смог скачать страницу и увидел noindex, этот адрес не должен появиться в результатах поиска как самостоятельный документ. noindex не следует путать с устаревшим тегом Яндекса noindex, который когда-то исключал фрагмент текста из учёта, и с директивой Disallow в файле robots.txt: файл управляет обходом, а noindex управляет именно индексацией.
Что такое noindex простыми словами
Простыми словами, noindex — это явная пометка «эту страницу не нужно показывать в поиске». Вы оставляете URL доступным для человека и для поискового робота, но просите поисковые системы не включать его в индекс. Если директива задана правильно и робот её прочитал, страница не должна попадать в поисковую выдачу по обычным запросам.
На практике тег noindex почти всегда встречается как метатег robots: в коде страницы есть элемент meta с атрибутом name="robots" и значением content="noindex". Ту же директиву можно отдать заголовком ответа сервера — это удобно для PDF и других файлов без HTML. В обоих случаях смысл один: закрыть URL от индексации, а не спрятать сайт паролем и не запретить обход.
Важно
noindex из метатега robots и старый тег Яндекса, которым выделяли кусок текста, — это разные вещи. В этой статье речь только о директиве для поисковых систем, которая запрещает индексировать страницу целиком. Старый тег Яндекса сегодня как рабочий способ управления индексом не используют.
Wordstat по голове «noindex» показывает устойчивый спрос: людям нужно понять, как закрыть страницу, чем noindex отличается от nofollow и как записать meta robots. Это не «кнопка продвижения сайта», а техническое правило индексации. Если закрыть важные посадочные, они исчезнут из поиска, даже если контент сильный и релевантность запросу высокая.
Как работает noindex
Чтобы noindex сработал, роботу нужно получить саму страницу. Сначала он находит URL по ссылке, в карте сайта или в уже известном списке адресов. Затем скачивает HTML или читает HTTP-заголовок. Если в ответе есть директива noindex, поисковая система не должна оставлять документ в индексе. Если страница уже была в поиске, её убирают после повторного обхода, а не в ту же секунду.
Использование тега в HTML выглядит просто, но от точности записи зависит результат. Правильный метатег noindex читают и Яндекс, и Google. Ошибки в name, в content или в том, что тег встаёт только в клиентском скрипте и не попадает в исходный HTML, приводят к тому, что робот директиву не видит. Для надёжности элемент должен быть в коде ответа сервера, а не появляться только после отрисовки в браузере.
| Способ | Что обычно пишут | Что это значит | Когда уместно | Что проверить |
|---|---|---|---|---|
| Метатег robots | meta name="robots" content="noindex" | Страницу можно обходить, но не нужно держать в индексе | HTML-страницы, которые не должны быть в поиске | Тег есть в исходном коде, а не только в браузере после скриптов |
| noindex, follow | content="noindex, follow" | В индекс не попадает, но ссылки со страницы робот может учесть | Служебные и тонкие URL, с которых есть полезные переходы | Нужен ли вообще follow, если ссылок мало или они тоже служебные |
| noindex, nofollow | content="noindex, nofollow" | Не индексировать страницу и не использовать её ссылки как указание к обходу | Корзина, личный кабинет, страницы благодарности, чисто технические URL | Не стоит ли закрытый контур лучше защитить авторизацией |
| none | content="none" | Кратко означает сочетание noindex и nofollow | Там же, где нужна полная изоляция страницы от индекса и передачи ссылок | Что в отчётах вебмастера директива читается так, как вы задумали |
| X-Robots-Tag | X-Robots-Tag: noindex | Та же директива, но в заголовке ответа сервера | PDF, изображения, файлы без HTML и массовые правила на уровне сервера | Заголовок отдаётся именно для нужного URL, а не только для раздела целиком |
| Отдельный робот | meta name="googlebot" или другая точная подпись | Правило действует для указанного робота, а не для всех сразу | Редкие случаи, когда политика для систем должна отличаться | Не закрыли ли вы только одну систему и не оставили страницу в другой |
Совет
Если нужно и закрыть страницу от индексации, и сохранить передачу ссылок, пишите noindex, follow явно. Если достаточно «не показывать в поиске и не раздавать ссылки», подойдут noindex, nofollow или none. Не смешивайте эти записи в разных шаблонах одного раздела без причины: роботу и вам самим будет труднее понять правило.
Чем noindex отличается от robots.txt
Файл robots.txt подсказывает роботу, какие пути можно обходить, а какие лучше не сканировать. Директива Disallow ограничивает обход, но сама по себе не является надёжным запретом индексации. Если на закрытый Disallow адрес ведут внешние или внутренние ссылки, он иногда всё равно появляется в результатах поиска как URL без полного сниппета. noindex работает иначе: робот должен скачать страницу, прочитать директиву и уже после этого не держать её в индексе.
robots.txt
Управляет обходом. Файл лежит в корне сайта, его видят все. Disallow экономит обход на корзине, фильтрах и админке, но не гарантирует, что адрес исчезнет из поиска.
noindex
Управляет индексацией. Роботу нужно получить страницу или заголовок ответа. Это основной способ сказать: документ в выдаче быть не должен.
Отсюда важное практическое правило. Если вы закрыли страницу в robots.txt и одновременно поставили noindex, робот может не дойти до метатега и не увидеть директиву. Тогда адрес рискует остаться в поиске как известный URL. Для страниц, которые не должны быть в индексе на рабочем сайте, лучше оставить путь открытым для обхода и поставить noindex. Disallow уместен для разделов, которые незачем сканировать вообще, и для тестового контура, который не должен расходовать обход.
Ошибка
Частая ошибка — считать, что строка Disallow: / полностью заменяет noindex. Запрет обхода мешает роботу прочитать метатег и не даёт надёжной гарантии, что страница исчезнет из поиска. Для рабочих URL, которые нужно убрать из выдачи, сначала дают роботу увидеть noindex.
Чем noindex отличается от nofollow
Nofollow отвечает на другой вопрос: можно ли использовать ссылку как указание к обходу и как сигнал. Атрибут rel="nofollow" ставят на отдельную ссылку. В метатеге robots значение nofollow относится уже ко всем ссылкам страницы. noindex при этом про саму страницу: попадёт ли она в индекс. Поэтому связка «noindex и nofollow» — это два разных указания, а не одно и то же слово дважды.
На служебной странице часто ставят оба значения: её не нужно видеть в поиске, а ссылки с неё не должны быть отдельным путём обхода. На странице-оглавлении или на фильтре, с которого идут полезные переходы в карточки, иногда оставляют noindex, follow: сам фильтр в выдаче не нужен, но робот может пройти по ссылкам дальше. Это не универсальный рецепт. Сначала смотрят, есть ли на странице действительно полезные внутренние ссылки и не дублирует ли она более сильный URL, которому лучше отдать canonical.
- noindex запрещает держать в индексе текущий URL.
- nofollow в метатеге просит не использовать ссылки этой страницы как указания к обходу.
- rel="nofollow" на ссылке ограничивает одну ссылку, а не всю страницу.
- none совмещает noindex и nofollow в одной короткой записи.
Когда закрывать страницу от индексации
Закрывать от индексации стоит страницы, которые полезны человеку или системе, но не должны конкурировать в поиске с основными документами. Типичные случаи — страницы «спасибо за заявку», корзина, оформление заказа, личный кабинет, результаты внутреннего поиска, тонкие фильтры, служебные печати и версии «для печати», технические пагинации без самостоятельной ценности и дубли, которые не закрываются каноническим адресом.
- Служебные шаги воронки: корзина, оформление, страница благодарности, восстановление пароля.
- Личные и закрытые разделы, даже если на них ещё стоит авторизация: лишний барьер не мешает.
- Результаты поиска по сайту и комбинации фильтров, которые плодят почти пустые или дублирующие URL.
- Предпросмотр, черновики, технические лендинги и страницы, которые нужны команде, но не аудитории из поиска.
- Файлы и выдачи, которые должны открываться по прямой ссылке, но не как отдельные документы в индексе.
Перед тем как закрыть раздел целиком, полезно сделать аудит шаблонов. Иногда в noindex попадают карточки товаров, статьи блога или региональные посадочные — тогда сайт теряет видимость не из-за контента, а из-за правила в шапке. Особенно внимательно смотрят пагинацию, сортировки, параметры UTM, которые случайно отдаются как отдельные документы, и тестовые копии, оказавшиеся на рабочем домене.
Когда noindex не подходит
noindex — не способ «подчистить» сайт вместо нормальной структуры и не замена другим инструментам. Если документ полезен и должен находиться по запросу, его нужно оставлять открытым для индексации и улучшать, а не прятать. Если страница навсегда удалена, честнее отдать код ответа 404 или 410. Если есть основной URL и его копии, чаще работает канонический адрес, а не массовый noindex всех версий без разбора.
- Закрывать главную, категории и сильные статьи, чтобы «не мешали» другим страницам.
- Ставить noindex вместо 301, 404 или 410, когда документ больше не существует или переехал.
- Закрывать CSS, скрипты и служебные файлы, которые роботу нужны, чтобы понять страницу: для них это обычно не то правило.
- Прятать дубли только noindex и не выбирать канонический URL, если одна и та же страница должна остаться в индексе под одним адресом.
- Держать noindex на тестовом поддомене и забыть снять его после переноса шаблона на рабочий сайт.
Важно
noindex не делает страницу секретной. Её по-прежнему можно открыть по прямой ссылке, а текст доступен тому, кто знает адрес. Для конфиденциальных разделов нужны авторизация и корректные ответы сервера, а не только метатег.
Как прописать noindex
Самый частый способ — добавить метатег в секцию head HTML. Для всех основных роботов используют name="robots". Значение content собирают из нужных директив через запятую: достаточно noindex или комбинации с follow и nofollow. Пример минимальной записи: метатег с content="noindex". Если CMS даёт галочку «закрыть от индексации», всё равно откройте исходный код страницы и убедитесь, что тег действительно есть и не дублируется противоречивыми правилами.
Выберите URL, которым не место в поиске
Составьте список шаблонов, а не отдельных случайных страниц. Так правило попадёт в корзину, фильтры или благодарность целиком и не заденет рабочие посадочные.
Поставьте директиву в HTML или в заголовок ответа
Для обычных страниц удобен метатег robots. Для файлов без HTML и для массовых правил на сервере используют X-Robots-Tag. Не закрывайте эти же URL в robots.txt, если хотите, чтобы робот директиву точно прочитал.
Согласуйте noindex с другими правилами
Проверьте, нет ли одновременно канонического адреса на другой URL, запрета в robots.txt и противоречивого meta robots в плагине. Одно странице — одно понятное указание.
Проверьте, что робот видит ту же запись, что и вы
Откройте исходный код, заголовок ответа и проверку URL в Яндекс Вебмастере и Google Search Console. Если тег появляется только в браузере после скриптов, поисковая система его может не получить.
В шаблонах важно не размножать несколько метатегов robots с разным content. Если один плагин пишет index, follow, а другой — noindex, итог непредсказуем. Лучше оставить одну явную запись. То же касается отдельных правил для googlebot и Яндекса: используйте их только когда политика действительно должна отличаться, а не «на всякий случай».
Как проверить noindex
Проверка начинается с самой страницы, а не с выдачи. Сначала смотрят исходный HTML и заголовки ответа, затем отчёты вебмастеров и только потом оператор поиска. Выдача запаздывает: страница может ещё держаться в индексе после того, как тег уже стоит, или наоборот исчезнуть не сразу после снятия директивы.
Посмотрите код страницы и заголовок ответа
В исходном HTML должен быть метатег robots с нужным content. Если используете X-Robots-Tag, его должно быть видно в заголовках ответа именно этого URL. Так вы проверяете факт директивы, а не догадку по сниппету.
Сверьте статус в кабинетах вебмастеров
В Яндекс Вебмастере и Google Search Console проверка URL показывает, видит ли робот noindex и как система понимает документ. Это надёжнее, чем судить только по ручному запросу в поиске.
Проведите точечный аудит шаблонов
Сверьте служебные и основные типы страниц. Инструменты вроде аудита сайта и проверки мета-тегов помогают найти шаблоны, где noindex стоит лишний раз или, наоборот, отсутствует там, где страница не должна быть в индексе.
Перепроверьте выдачу после обхода
Оператор site: и ручной поиск показывают уже свершившийся факт индексации. Их используют как контроль после того, как директива подтверждена в коде и в отчётах, а не как единственный способ проверки.
Если директива есть, а страница всё ещё в поиске, чаще всего роботу просто нужно время на повторный обход. Имеет смысл отправить URL на переобход в вебмастере и убедиться, что путь не закрыт в robots.txt. Если тега нет, а страница «как будто» не индексируется, причина может быть другой: слабая релевантность, дубль, плохой title, ошибка ответа сервера или битые ссылки на документ.
Как использовать noindex в работе над сайтом
В работе над сайтом noindex следует рассматривать как часть технического SEO, а не как отдельную «кнопку» продвижения. Инструменты вебмастера, аудит шаблонов и проверка метатегов помогают увидеть, где директива уже стоит и где её не хватает. Важно не закрыть основные страницы сайта: карточки, статьи блога, разделы услуг и посадочные, по которым вы хотите получать трафик. Если страница доступна пользователю и должна быть доступна поисковой системе как ответ на запрос, запретить индексирование нельзя только потому, что текст кажется коротким. Сначала смотрят, можно ли усилить контента и внутренний путь к документу, и только потом решают, нужен ли noindex.
Пример типового разбора такой. Сначала с помощью исходного кода и заголовка ответа находят все шаблоны, где есть метатег. Затем отдельно смотрят служебные формы, страницу регистрации, подписку, страницу «контакты» в странных параметрах, результаты внутреннего поиска и комбинации фильтров. Для некоторых из них закрытие оправдано: это данные пользователя, телефон в личном кабинете, черновик проекта, служебный тариф или страница, которая не должна стать источником в топ выдачи. Для других, например для сильных статей и обзорных материалов, noindex будет ошибкой. Создание единого списка шаблонов экономит время лучше, чем точечные правки «на глаз».
Анализ индексации должен ответить на простые вопросы: какие URL поисковиков уже знают, какие вы сознательно скрыли, и нет ли проблем в настройках CMS. Мониторинг изменений после правок поможет понять, сработал ли обход. Если вы отправляете страницу на переобход, зафиксируйте дату и источник директивы — метатег, заголовок или плагин. Применение сразу нескольких правил без комментарий в документации команды обычно путает. Необходимо, чтобы у каждого типа URL было одно понятное решение: index, noindex, канонический адрес или код удаления.
Отдельный разговор — рекламные и служебные посадочные. Контекстная кампания часто ведёт на страницу, которую не нужно держать в органической выдаче; тогда noindex уместен. Но нельзя автоматически закрывать все рекламные URL, если часть из них одновременно является основным документом сайта. Вес такого решения высокий: вы можете выключить из поиска рабочие услуги и предложение, которое уже ранжирование удерживало. Общие рекомендации здесь простые: сначала инвентаризация, потом правило, потом проверка. Бесплатно посмотреть код в браузере и скопировать метатег в заметку — уже полезный первый шаг, инструкция не обязана быть длинной.
Ещё стоит проверить атрибут и элемент в HTML: name, content и то, не дублирует ли noscript или другой блок противоречивую directive. Если добавить второй метатег «на всякий случай», робот может прочитать не то указание. Внутренний регламент полезно описать коротко: кто меняет настройки, как провести сбор всех шаблонов, куда перейти за проверкой и как привести в порядок новые разделы. Это не урок ради урока, а способ не потерять вид сайта в поиске после релиза. Пользователей и клиентов директива не касается напрямую — им страница по-прежнему открывается, — но репутацией в поиске она управляет очень заметно.
Если нужно запретить индексирование файла без HTML, заголовок сервера надёжнее, чем попытка вставить тег туда, где его нет. Если нужно оставить передачу ссылок, это следует явно указать. Если страница просто дублирует другую, сначала смотрят канонический адрес. Такой порядок работы уменьшает ошибки и делает использование noindex предсказуемым. Инструменты Титло здесь не заменяют вебмастер, но помогают быстро найти шаблоны, где текст правила не совпадает с задачей страницы. SEO-задача здесь простая: оставить в индексе страницы, которые дают информацию и продвижение по рабочим запросам, и скрыть служебные. Данных в отчётах много, но решение всё равно принимают по шаблону, а не по одной строке.
На практике оптимизации компании часто не хватает короткого руководства: какие URL сайта оставляем в поиске, какие закрываем, кто имеет доступ к настройкам. Добавить noindex на один page легко, но без обзора шаблонов это слабо влияет на результат. Ключевых посадочных, позиций в выдаче и отзывы на важных карточках директивой лучше не трогать. Веб-сервис аналитики и отчёты поисковиков укажут, где индексирование уже остановилось. Если ресурс является интернет-магазином, отдельной обработке подлежат фильтры, сравнение товаров и служебный вход в кабинет. Если это медиа, смотрят новости, видео, портфолио и служебные модули подписки.
Подробнее стоит описать и технические мелочи. Синтаксис метатега, атрибут name, содержимое content и корректный href на канонический адрес должны быть согласованы. Генератор CMS может вставить свой вариант, поэтому после обновления шаблона следует ещё раз проверить код. Сканирования ботов и работа алгоритмы поисковых engines идут своим процессом: директива не сработает мгновенно. Чтобы избежать негативно большого выпадения, не применяют noindex ко всему каталогу «заказать услугу» или ко всем article сразу. Определенный шаблон закрывают только после того, как команда учитывает, какой именно документ должен остаться в поиске.
Ещё один рабочий контур — текстовый спам и тонкие автостраницы. Если программа или шаблон создаёт служебные URL без самостоятельной ценности, их лучше закрыть, чем пытаться вытянуть в поиск. Это не про бюджет ссылок и не про историю доменов, а про то, какой документ поисковая система должна считать ответом. Настроить правило один раз, проверить доступность для робота и только потом смотреть выдачу — самый устойчивый порядок. Пример из практики: после релиза счётчик и другие модули оказались в индексе; достаточно было добавить noindex на служебные шаблоны и отправить их на переобход, не трогая основные страницы сайта. В любом спорном случае следует ещё раз сверить данные SEO-отчёта и исходный код: директива должна быть доступна роботу, а ключевые документы компании — открыты для продвижения.
Основы здесь не меняются от года к году и от разработки нового шаблона. Добавление noindex — это определённый метод управления индексом, а не способ обойти конкурентов или поднять рейтинг продаж. Кейсы полезны, когда автор указывает конкретный шаблон и что именно закрыли: header с метатегом, заголовок ответа, исключение фильтров, служебные функции website. Популярные технологии CMS сами не гарантируют, что правило прописано корректно: наличие галочки в админке ещё не значит, что робот увидит ту же запись. Комплексное решение — инвентаризация, одно правило на шаблон, проверка и только потом ожидание, что поисковики перестанут переходить к этому URL как к документу в индексе. Базу таких правил лучше держать внутри команды, чтобы они оставались понятными после смены подрядчика.
Частые ошибки
- Закрыть важные страницы noindex в шаблоне CMS и долго не замечать падение видимости.
- Поставить Disallow в robots.txt и решить, что индексация уже запрещена.
- Вывести метатег только скриптом, так что человек его видит, а робот — нет.
- Держать сразу несколько противоречивых meta robots на одной странице.
- Путать noindex с nofollow и закрывать ссылки, хотя нужно было убрать из индекса только сам URL.
- Оставить noindex на рабочем сайте после переноса с тестового контура.
- Использовать noindex вместо нормального удаления, редиректа или канонического адреса.
Ещё одна рабочая ошибка — судить об успехе только по одному оператору поиска. Индекс обновляется не мгновенно, а разные системы обходят сайт с разной скоростью. Надёжная картина складывается из кода страницы, заголовка ответа, отчёта вебмастера и уже потом из выдачи. Если вы закрыли служебные URL и открыли основные, это должно быть видно и в шаблонах, и в проверке индексации, а не только в разовом ручном запросе.
Главное
- noindex — директива, которая запрещает поисковым системам держать страницу в индексе. Её задают метатегом robots или заголовком X-Robots-Tag.
- Чтобы директива сработала, робот должен скачать страницу. Запрет обхода в robots.txt этому мешает и не заменяет noindex.
- noindex и nofollow решают разные задачи: первое про попадание URL в индекс, второе — про использование ссылок.
- Закрывать стоит служебные, тонкие и личные страницы, а не основные документы, которые должны находиться по запросу.
- Проверяйте исходный код, заголовок ответа и отчёты вебмастеров, а не только выдачу: индекс обновляется с задержкой.
Проверка индексации и метатегов в Титло
noindex работает только если директива реально отдаётся на нужных URL и не стоит на страницах, которые должны быть в поиске. Эти инструменты помогают связать правило в коде с фактической индексацией.
Связанные термины
Термины без ссылки ещё в работе — ссылки появятся после публикации.