Что такое директива Clean-param в robots.txt и как убрать дубли страниц с GET-параметрами в Яндексе
Обновлено Время чтения: 23 мин
Коротко
Clean-param — директива [robots.txt](/slovar/robots-txt/) для поисковой системы Яндекс, которая описывает незначащие [GET-параметры](/slovar/get-parametry/) URL: параметры, которые не меняют содержимое страницы. Формат записи: Clean-param: параметры [путь], где параметры перечисляются через символ &, а необязательный путь ограничивает действие правила разделом сайта. Встретив такие параметры, робот Яндекса не загружает отдельно каждую копию адреса, а сводит их к адресу без параметров, что устраняет [дубли страниц](/slovar/dubli-stranits/). В отличие от [Disallow](/slovar/direktiva-disallow/), директива не просто запрещает сканирование, а помогает склеить сигналы копий с основной страницей. Для Google аналогичную задачу решает [canonical](/slovar/canonical/).
Что такое директива Clean-param
Многие сайты формируют адреса страниц с GET-параметрами — частью URL после знака вопроса. Параметры бывают значащими и незначащими. Значащие меняют содержимое: номер страницы пагинации, фильтр по цвету, идентификатор товара. Незначащие не меняют ничего: UTM-метки рекламных кампаний, идентификатор сессии, параметр источника перехода, метка партнёра.
Проблема в том, что для поисковой системы каждый уникальный адрес — потенциально отдельная страница. Адреса /catalog/phones/ и /catalog/phones/?utm_source=yandex выглядят разными, хотя содержимое одинаковое. Если таких вариантов много, робот тратит ресурсы на их обход, а в индексе появляются дубли, которые конкурируют с основной страницей.
Директива Clean-param решает эту задачу для Яндекса. В файле robots.txt вы перечисляете параметры, которые не влияют на содержимое, и робот Яндекса начинает считать адреса с этими параметрами копиями адреса без них. Он не обходит каждую копию отдельно и учитывает сигналы, например ссылки на адрес с меткой, для основной страницы.
Яндекс описывает Clean-param в справке для вебмастеров как рекомендуемый способ работы с динамическими параметрами. Директива межсекционная: её можно указать в любом месте robots.txt, и она будет учтена независимо от того, в какой группе User-agent находится.
Чтение robots.txt
робот загружает файл и находит директивы Clean-param
Обнаружение адреса
робот встречает URL с GET-параметрами по ссылке или в карте сайта
Сравнение с правилом
проверяет, есть ли в адресе параметры из Clean-param и подходит ли путь
Сведение к основному
удаляет незначащие параметры и получает основной адрес страницы
Обход и учёт
обходит основной адрес, а копии не загружает отдельно и не добавляет как дубли
Синтаксис директивы Clean-param
Формат директивы описан в справке Яндекса. Запись состоит из названия директивы, двоеточия, списка параметров и необязательного префикса пути.
Список параметров перечисляют через символ &. Например, Clean-param: utm_source&utm_medium&utm_campaign означает, что все три параметра незначащие. Регистр в именах параметров учитывается: utm_source и UTM_SOURCE — разные параметры.
Префикс пути указывают через пробел после списка параметров. Он ограничивает действие правила адресами, которые начинаются с этого пути. Например, Clean-param: sort&order /catalog/ действует только для адресов раздела каталога. Если путь не указан, правило применяется ко всему сайту. В пути можно использовать символ *, который означает любую последовательность символов, как в Disallow.
Для одного сайта можно указать несколько строк Clean-param. Это удобно, когда разные разделы используют разные параметры. Длина одного правила ограничена 500 символами, поэтому длинные списки лучше разбивать на несколько строк.
| Элемент | Пример | Что означает |
|---|---|---|
| Один параметр для всего сайта | Clean-param: sid | параметр sid не меняет содержимое ни на одной странице | |
| Несколько параметров | Clean-param: utm_source&utm_medium&utm_campaign | все перечисленные метки незначащие | |
| Параметр для раздела | Clean-param: sort /catalog/ | параметр sort незначащий только в каталоге | |
| Путь со звёздочкой | Clean-param: ref /blog/*/ | параметр ref незначащий в любых подразделах блога | |
| Несколько правил | две строки Clean-param для разных разделов | разные параметры для разных частей сайта | |
Совет
Перед добавлением параметра в Clean-param убедитесь, что он действительно не меняет содержимое. Откройте несколько адресов с разными значениями параметра и сравните страницы. Если содержимое отличается, параметр значащий, и закрывать его нельзя.
Примеры использования Clean-param
Ниже — типичные ситуации, в которых директива помогает убрать дубли и упорядочить индексацию. Перед использованием адаптируйте примеры под реальные параметры вашего сайта.
UTM-метки рекламных кампаний
Ссылки из рекламы, рассылок и социальных сетей часто содержат UTM-метки: utm_source, utm_medium, utm_campaign, utm_content, utm_term. Если такие ссылки попадают в открытый доступ, робот может их найти и начать обходить. Правило Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term сводит все варианты к адресу без меток.
Идентификаторы сессий и источников
Некоторые CMS добавляют в адрес идентификатор сессии, например sid или PHPSESSID. Партнёрские программы — параметры ref, partner, aff. Рекламные системы — идентификаторы кликов, например yclid или gclid. Все они не меняют содержимое и подходят для Clean-param.
Сортировка в каталоге
Параметры сортировки — sort, order, dir — меняют порядок товаров, но не сам набор. Обычно такие страницы не нужны в индексе. Правило Clean-param: sort&order /catalog/ сводит варианты сортировки к основной странице категории.
Параметры отображения
Количество товаров на странице, вид списка или плитки, валюта отображения — параметры вроде limit, view, currency. Если они не меняют состав и смысл страницы, их тоже можно описать в Clean-param.
| Параметр | Где встречается | Можно ли добавить |
|---|---|---|
| utm_source, utm_medium, utm_campaign | рекламные и маркетинговые ссылки | да, не меняют содержимое | |
| yclid, gclid, fbclid | идентификаторы кликов в рекламе | да | |
| sid, PHPSESSID | идентификаторы сессий | да | |
| ref, partner, aff | партнёрские программы | да | |
| sort, order | сортировка в каталоге | обычно да | |
| page | пагинация | нет, меняет содержимое | |
| color, brand | фильтры каталога | нет, если формируют разные страницы | |
| id, product | идентификатор товара | нет, определяет страницу | |
Чем Clean-param отличается от Disallow, canonical и мета-тега robots
С дублями страниц можно бороться разными способами, и у каждого свои последствия. Важно понимать, чем Clean-param отличается от других инструментов, чтобы выбрать подходящий.
Disallow в robots.txt запрещает сканирование адресов, которые совпадают с правилом. Например, Disallow: /*?utm_ запретит обход всех адресов с UTM-метками. Робот их не загрузит, но и не узнает, что это копии основной страницы. Если на адрес с меткой ведут внешние ссылки, их вес не будет учтён для основной страницы. Кроме того, закрытые адреса иногда остаются в индексе без описания.
Clean-param не просто запрещает обход, а объясняет роботу, что адрес с параметром — копия. Яндекс сводит такие адреса к основному, учитывает для него сигналы копий и не тратит ресурсы на повторный обход. Поэтому для незначащих параметров Яндекс рекомендует именно Clean-param.
Тег canonical указывает предпочтительный адрес страницы прямо в её коде. Его поддерживают и Яндекс, и Google. Но робот должен загрузить страницу, чтобы увидеть canonical, а значит краулинговый бюджет всё равно расходуется. Кроме того, canonical — это подсказка, а не строгое правило: поисковая система может выбрать другой адрес.
Мета-тег robots с noindex запрещает индексацию конкретной страницы. Для дублей с параметрами он подходит плохо: страницу с меткой нужно загрузить, чтобы увидеть мета-тег, а сигналы не передаются основному адресу.
Clean-param
склеивает копии с основным адресом в Яндексе, экономит обход, учитывает сигналы копий.
Disallow
запрещает обход адресов с параметром, но не склеивает их и не передаёт сигналы.
Canonical
указывает основной адрес в коде страницы, работает в Яндексе и Google, но требует загрузки страницы.
Мета-тег robots
запрещает индексацию конкретной страницы, не склеивает её с основной.
| Тип параметра | Яндекс | |
|---|---|---|
| UTM-метки и идентификаторы кликов | Clean-param | canonical на основной адрес | |
| Идентификаторы сессий | Clean-param, а лучше отказаться от них в URL | canonical, отказ от сессий в URL | |
| Сортировка | Clean-param или canonical | canonical | |
| Фильтры без спроса | Disallow или мета-тег noindex | мета-тег noindex или canonical | |
| Фильтры с поисковым спросом | отдельные ЧПУ-страницы, открытые для индексации | отдельные ЧПУ-страницы | |
| Пагинация | оставить открытой | оставить открытой | |
Важно
Не используйте Disallow и Clean-param для одних и тех же параметров одновременно. Если адрес закрыт через Disallow, робот не будет его обрабатывать, и Clean-param для него не сработает так, как задумано.
Как исправить уведомление «Найдены страницы-дубли с GET-параметрами»
Яндекс Вебмастер в разделе диагностики может показать уведомление «Найдены страницы-дубли с GET-параметрами». Оно означает, что робот обнаружил на сайте адреса, которые отличаются только параметрами, а содержимое у них одинаковое. Яндекс рекомендует использовать Clean-param, чтобы такие страницы не мешали индексированию.
Чтобы исправить проблему, откройте уведомление и посмотрите примеры адресов. Вебмастер показывает, какие параметры создают дубли. Сравните адреса с параметрами и без них, убедитесь, что содержимое действительно одинаковое, и составьте список незначащих параметров.
Затем добавьте директиву Clean-param в robots.txt. Если параметры используются по всему сайту, достаточно одной строки без пути. Если только в определённом разделе, укажите путь. После загрузки обновлённого файла проверьте его в инструменте анализа robots.txt в Вебмастере: там видно, корректно ли Яндекс прочитал директиву.
Уведомление исчезнет не сразу. Роботу нужно переобойти сайт с учётом новых правил, а алгоритмам — пересчитать данные. Обычно это занимает от нескольких дней до нескольких недель, в зависимости от размера сайта и частоты обхода.
Откройте диагностику
в Яндекс Вебмастере найдите уведомление о дублях с GET-параметрами и посмотрите примеры адресов.
Определите параметры
выпишите параметры, которые встречаются в примерах, и проверьте, меняют ли они содержимое.
Напишите правило
добавьте в robots.txt строку Clean-param со списком незначащих параметров и путём, если нужно.
Проверьте файл
в инструменте анализа robots.txt убедитесь, что директива прочитана без ошибок.
Дождитесь переобхода
следите за уведомлением и отчётом о страницах в поиске; при необходимости отправьте важные страницы на переобход.
Как Clean-param помогает экономить краулинговый бюджет
Поисковые системы не обходят бесконечно много страниц одного сайта. У каждого ресурса есть условный краулинговый бюджет — количество запросов, которое робот готов сделать за определённое время. Он зависит от размера сайта, скорости ответа сервера, популярности и частоты обновлений.
На сайтах с большим количеством параметров значительная часть бюджета может уходить на копии страниц. Например, если у каждой категории каталога есть варианты с десятком сортировок, UTM-метками и идентификаторами сессий, количество адресов вырастает в разы. Робот тратит запросы на одинаковые страницы, а новые товары и статьи обходятся реже.
Clean-param решает эту проблему для Яндекса. Робот заранее знает, какие параметры можно отбросить, и не запрашивает копии. Освободившийся бюджет уходит на полезные страницы. Это особенно заметно на крупных интернет-магазинах и порталах, где новые страницы появляются ежедневно.
Эффект можно отследить в Яндекс Вебмастере, в отчёте «Статистика обхода». После добавления правил количество запросов к адресам с параметрами должно снижаться, а доля обхода основных страниц — расти. Полезно также анализировать логи сервера: там видно, какие адреса робот запрашивает чаще всего.
- Меньше запросов к копиям страниц с незначащими параметрами.
- Быстрее индексируются новые товары, статьи и обновления.
- Меньше нагрузка на сервер от повторных запросов робота.
- Чище отчёты Вебмастера: меньше дублей и исключённых страниц.
Как решать ту же задачу в Google
Google не поддерживает директиву Clean-param и просто игнорирует её строку в robots.txt. Раньше в Google Search Console был инструмент «Параметры URL», где можно было указать, как обрабатывать параметры, но в 2022 году Google его отключил, объяснив, что научился определять незначащие параметры автоматически.
Для Google основным инструментом против дублей с параметрами остаётся тег canonical. На каждой странице указывают канонический адрес без незначащих параметров. Когда робот попадает на адрес с UTM-меткой, он видит canonical и понимает, какой адрес основной.
Важна и внутренняя перелинковка. Если все ссылки на сайте ведут на адреса без лишних параметров, поисковик реже встречает копии. UTM-метки стоит использовать только во внешних ссылках — в рекламе, рассылках, социальных сетях, — но не во внутренних ссылках сайта: это засоряет и индекс, и аналитику.
Если параметр создаёт страницы, которые не нужны в поиске вообще, например внутренний поиск по сайту, их закрывают мета-тегом robots с noindex. Disallow в robots.txt используют для разделов, которые роботу не нужно даже сканировать.
| Инструмент | Яндекс | |
|---|---|---|
| Clean-param | поддерживается, рекомендуемый способ | игнорируется | |
| Canonical | поддерживается | основной способ | |
| Disallow | поддерживается, но не склеивает | поддерживается, но не склеивает | |
| Мета-тег robots noindex | поддерживается | поддерживается | |
| Настройка параметров в панели | уведомления и анализ в Вебмастере | инструмент «Параметры URL» отключён | |
| Внутренние ссылки без параметров | важно | важно | |
Типичные ошибки при настройке Clean-param
Директива простая, но ошибки в ней встречаются часто. Одни приводят к тому, что правило не работает, другие — к тому, что из индекса пропадают нужные страницы.
- В Clean-param добавлен значащий параметр, например номер страницы пагинации или фильтр, и Яндекс склеил разные страницы в одну.
- Параметры перечислены через запятую или пробел вместо символа &, и правило читается неправильно.
- Имя параметра написано в другом регистре, чем в реальных адресах.
- Путь указан без косой черты в начале или не совпадает с реальной структурой сайта.
- Одни и те же параметры закрыты и через Disallow, и через Clean-param.
- Правило длиннее 500 символов и обрезается.
- После изменения файла не проверено, как Яндекс прочитал директиву.
Особенно опасна первая ошибка. Если добавить в Clean-param параметр, который меняет содержимое, Яндекс начнёт считать разные страницы копиями одной. Например, если параметр page попадёт в правило, все страницы пагинации будут сведены к первой, и товары со второй и следующих страниц могут перестать находиться. Поэтому каждый параметр стоит проверять отдельно.
Ещё одна частая проблема — правило работает, но копии продолжают появляться, потому что их генерирует сам сайт. Если внутренние ссылки содержат UTM-метки или идентификаторы сессий, робот постоянно находит новые варианты. Clean-param помогает их склеить, но правильнее устранить источник: убрать параметры из внутренних ссылок.
Ошибка
Не добавляйте в Clean-param параметры «на всякий случай». Каждый параметр в правиле должен быть проверен: если вы не уверены, что он не меняет содержимое, лучше оставить его и решить вопрос через canonical.
Как настроить Clean-param на популярных CMS и платформах
Директива добавляется в файл robots.txt, поэтому способ настройки зависит от того, как на вашем сайте редактируется этот файл. На большинстве платформ это несложно, но есть особенности.
На сайтах с доступом к файловой системе robots.txt лежит в корне сайта и редактируется как обычный текстовый файл через файловый менеджер хостинга или FTP. После изменения достаточно сохранить файл и проверить его доступность по адресу /robots.txt.
В WordPress robots.txt может формироваться динамически самой системой или SEO-плагином. Если физического файла нет, его содержимое задаётся в настройках плагина. В 1С-Битрикс есть встроенный инструмент для редактирования robots.txt в разделе SEO, где можно добавить нужные строки. В конструкторах сайтов возможность редактировать robots.txt зависит от платформы: где-то есть отдельное поле в настройках SEO, где-то файл формируется автоматически.
Независимо от платформы, после изменения стоит открыть robots.txt в браузере и убедиться, что строка Clean-param на месте. Затем проверить файл в инструменте анализа robots.txt в Яндекс Вебмастере.
- Сайты с доступом к файлам: отредактировать robots.txt в корне через файловый менеджер или FTP.
- WordPress: проверить, формирует ли robots.txt система или плагин, и добавить строку в нужном месте.
- Битрикс: использовать встроенный редактор robots.txt в разделе SEO.
- Конструкторы сайтов: найти настройки robots.txt в разделе SEO или обратиться в поддержку платформы.
- Любая платформа: проверить файл в браузере и в Яндекс Вебмастере после изменения.
Clean-param для интернет-магазина: практический разбор
Интернет-магазины — главные пользователи Clean-param. В каталоге много параметров: сортировки, отображение, фильтры, сравнение, метки рекламных кампаний, партнёрские ссылки. Без правил количество адресов может в десятки раз превышать количество реальных страниц.
Работу удобно начинать с инвентаризации параметров. С помощью SEO-краулера, логов сервера и отчётов Вебмастера соберите все параметры, которые встречаются в адресах сайта. Для каждого определите: меняет ли он содержимое, нужен ли он в поиске, есть ли по нему спрос.
Дальше параметры делятся на группы. Незначащие — UTM-метки, идентификаторы кликов и сессий, партнёрские метки — идут в Clean-param для всего сайта. Сортировки и параметры отображения — в Clean-param для раздела каталога. Фильтры без поискового спроса закрывают через Disallow или мета-тег noindex. Фильтры со спросом выносят на отдельные ЧПУ-страницы с уникальным заголовком и описанием и оставляют открытыми.
Такой подход упорядочивает индексацию: в поиске остаются категории, посадочные страницы фильтров и карточки товаров, а копии не мешают их ранжированию. Ссылочный вес, который приходит на адреса с метками из рекламы и партнёрских программ, учитывается для основных страниц.
| Параметр | Пример значения | Решение |
|---|---|---|
| utm_source, utm_campaign | yandex, sale | Clean-param для всего сайта | |
| yclid, gclid | идентификатор клика | Clean-param для всего сайта | |
| sort, order | price, asc | Clean-param для раздела каталога | |
| view, limit | grid, 48 | Clean-param для раздела каталога | |
| page | 2, 3, 4 | оставить открытым | |
| color без спроса | редкий оттенок | мета-тег noindex или Disallow | |
| brand со спросом | популярный бренд | отдельная ЧПУ-страница фильтра | |
Как Clean-param связан с UTM-метками и аналитикой
UTM-метки нужны маркетингу: по ним системы аналитики определяют источник, канал и кампанию, из которой пришёл посетитель. Clean-param никак не мешает этой работе. Директива влияет только на то, как робот Яндекса обходит и индексирует адреса, а не на то, как работают счётчики на сайте.
Когда посетитель переходит по ссылке с UTM-метками, браузер открывает адрес с параметрами, счётчик Яндекс Метрики или другой системы считывает метки и записывает источник. Робот Яндекса при этом, встретив такой адрес, сведёт его к основному и не будет индексировать как отдельную страницу. Обе задачи решаются одновременно.
Важно другое: не использовать UTM-метки во внутренних ссылках сайта. Если, например, баннер на главной ведёт на категорию с меткой, при каждом переходе система аналитики будет начинать новый визит с другим источником, и данные о трафике исказятся. Для внутренних кампаний лучше использовать события и цели в аналитике.
- UTM-метки используются только во внешних ссылках: реклама, рассылки, социальные сети.
- Параметры меток описаны в Clean-param, чтобы робот не создавал дубли.
- Внутренние ссылки ведут на адреса без меток.
- Счётчики аналитики корректно считывают метки на посадочных страницах.
Частые вопросы вебмастеров о Clean-param
На форумах и в сообществах вебмастеров о Clean-param спрашивают часто. Вот ответы на самые распространённые вопросы.
Нужно ли писать Clean-param, если на сайте уже есть canonical? Для Яндекса это полезно: canonical требует загрузки каждой копии, а Clean-param позволяет роботу не запрашивать копии вообще. Инструменты хорошо дополняют друг друга.
Можно ли указать в Clean-param все параметры сразу через звёздочку? Нет, директива требует перечислить имена параметров. Звёздочку можно использовать только в пути, но не вместо названий параметров.
Сколько строк Clean-param можно добавить? Ограничения на количество строк Яндекс не устанавливает, но каждое правило должно быть не длиннее 500 символов. Удобно группировать параметры по смыслу: метки в одной строке, сортировки в другой.
Как быстро Яндекс учтёт изменения? Робот перечитывает robots.txt регулярно, обычно в течение суток. Но чтобы копии исчезли из индекса и уведомление в Вебмастере пропало, нужно время на переобход: от нескольких дней до нескольких недель.
Что будет, если параметр добавлен по ошибке? Яндекс начнёт склеивать страницы с разными значениями этого параметра. Если вы заметили ошибку, удалите параметр из правила, и после переобхода страницы снова будут учитываться отдельно.
Как Clean-param влияет на продвижение и ранжирование
Сама по себе директива не является фактором ранжирования. Яндекс не поднимет сайт в выдаче за то, что в robots.txt есть строка Clean-param. Но директива влияет на продвижение косвенно, и этот эффект бывает заметным.
Первое — концентрация сигналов. Когда на одну страницу ведут ссылки с разными параметрами, без Clean-param эти ссылки могут распределяться между копиями. После склейки ссылочного веса и поведенческих сигналов основной адрес получает их целиком. Это помогает странице занять более высокую позицию.
Второе — отсутствие конкуренции копий. Если в индексе несколько вариантов одной страницы, поисковик может показывать в выдаче то один, то другой адрес. Позиции скачут, сниппет меняется, видимость нестабильна. Clean-param убирает копии из этой гонки.
Третье — скорость индексации. Робот тратит меньше запросов на дубли и быстрее находит новые страницы и изменения на существующих. Для сайтов, где важна свежесть контента, это прямое влияние на трафик.
Четвёртое — чистота данных. Когда в отчётах Вебмастера меньше дублей и исключённых страниц, проще увидеть реальные проблемы и оценить метрики, которые важны для стратегии продвижения.
| Эффект | Без Clean-param | С Clean-param |
|---|---|---|
| Ссылочные сигналы | распределяются между копиями адреса | собираются на основной странице | |
| Адрес в выдаче | может меняться между копиями | стабильно показывается основной адрес | |
| Скорость индексации | робот тратит запросы на дубли | робот быстрее находит новые страницы | |
| Отчёты Вебмастера | много дублей и исключённых адресов | чище данные для анализа | |
| Нагрузка на сервер | повторные запросы к одинаковым страницам | меньше лишних запросов | |
Как проверить, что Clean-param работает правильно
После добавления директивы важно убедиться, что Яндекс прочитал её так, как вы задумали, и что в правило не попали лишние параметры.
Начните с инструмента анализа robots.txt в Яндекс Вебмастере. Вставьте текст файла и несколько адресов с параметрами. Инструмент покажет, разрешён ли адрес и как обрабатывается директива. Если в строке есть синтаксическая ошибка, Вебмастер сообщит об этом.
Затем проверьте сами страницы. Откройте основной адрес и адрес с параметром и убедитесь, что содержимое одинаковое, а на обоих указан одинаковый canonical. Если адрес с параметром отдаёт редирект на основной, это тоже нормально: тогда копия не возникнет вообще.
Через одну-две недели посмотрите отчёт о страницах в поиске и список исключённых страниц. Адреса с параметрами из правила должны постепенно исчезать или помечаться как дубли основной страницы. Полезно также найти сайт оператором site: с указанием параметра, например поиском по адресам с utm_source, и проверить, остались ли такие документы в индексе.
- Директива прочитана без ошибок в инструменте анализа robots.txt.
- Адреса с параметрами и без показывают одинаковое содержимое.
- На копиях указан canonical на основной адрес.
- Количество дублей с параметрами в отчётах Вебмастера снижается.
- Уведомление о дублях с GET-параметрами исчезло после переобхода.
Как встроить Clean-param в техническую стратегию сайта
Директиву Clean-param полезно рассматривать не как разовую правку, а как часть постоянной работы с технической оптимизацией. Сайт меняется: появляются новые рекламные кампании, партнёрские программы, модули аналитики, функции каталога. Вместе с ними в адресах появляются новые параметры.
Удобно раз в квартал проводить инвентаризацию параметров. Выгрузите из логов сервера или из SEO-краулера список всех параметров, которые встречались в адресах за период, и сравните его с текущими правилами в robots.txt. Новые незначащие параметры добавьте в Clean-param, а параметры, которые перестали использоваться, можно удалить, чтобы файл оставался понятным.
При запуске новых функций полезно заранее договориться с разработкой: какие параметры будут добавляться в адреса, меняют ли они содержимое и нужно ли их учитывать в robots.txt. Это проще, чем потом искать причины появления дублей.
Также стоит согласовать работу с маркетингом. Команда, которая запускает рекламу и рассылки, должна знать, какие метки используются и почему важно не ставить их во внутренние ссылки. Тогда и аналитика будет точнее, и индекс чище.
Наконец, документируйте решения. В самом robots.txt можно оставлять комментарии после символа решётки: зачем добавлен параметр, к какой кампании или функции он относится. Через год такая заметка сэкономит время и вам, и коллегам.
- Ежеквартальная инвентаризация параметров по логам и данным краулера.
- Согласование новых параметров с разработкой до запуска функций.
- Инструкция для маркетинга по использованию UTM-меток.
- Комментарии в robots.txt с пояснением каждого правила.
Почему Яндекс придумал Clean-param и как менялся подход к параметрам
Динамические адреса с параметрами появились вместе с первыми системами управления сайтами и интернет-магазинами. Поисковые системы быстро столкнулись с тем, что один сайт может порождать бесконечное количество адресов: каждая комбинация сортировки, фильтра и метки давала новый URL. Роботы тратили ресурсы, а индексы заполнялись копиями.
Яндекс ответил на эту проблему собственной директивой в robots.txt. Её идея в том, чтобы владелец сайта сам сообщил, какие параметры не важны, и робот мог не гадать. Google пошёл другим путём: долгое время предлагал настройку параметров в панели для вебмастеров, а затем отказался от неё, сделав ставку на автоматическое определение и тег canonical.
Сегодня Clean-param остаётся рабочим и рекомендуемым инструментом для Яндекса. Вебмастер прямо предлагает её в уведомлениях о дублях, а справка подробно описывает синтаксис. Поэтому для сайтов, которые получают значительную часть трафика из Яндекса, настройка директивы — обязательная часть технического аудита.
Практический итог
Clean-param — директива robots.txt для Яндекса, которая описывает незначащие GET-параметры: UTM-метки, идентификаторы сессий и кликов, сортировки. Робот сводит адреса с такими параметрами к основному, не тратит ресурсы на копии и учитывает их сигналы для основной страницы.
Используйте Clean-param для параметров, которые точно не меняют содержимое, проверяйте каждое правило, не смешивайте его с Disallow для тех же параметров и дополняйте canonical для Google. Тогда индекс будет чище, обход эффективнее, а уведомление о дублях в Вебмастере исчезнет.
Главное
- Clean-param — директива robots.txt, которая сообщает Яндексу, какие GET-параметры не меняют содержимое страницы.
- Робот перестаёт обходить копии с такими параметрами и сводит их к основному адресу, устраняя дубли.
- Синтаксис: Clean-param: параметр1&параметр2 /путь; путь необязателен и ограничивает действие правила.
- Директиву поддерживает только Яндекс; для Google используют canonical и правильную внутреннюю перелинковку.
- Clean-param решает уведомление «Найдены страницы-дубли с GET-параметрами» в Яндекс Вебмастере.
Какие инструменты Титло помогают найти дубли с параметрами
Чтобы правильно написать Clean-param, нужно знать, какие параметры реально встречаются в адресах сайта и какие из них создают копии страниц.
Связанные термины
Термины без ссылки ещё в работе — ссылки появятся после публикации.