Титло
Технический SEO и индексацияСинонимы: директива clean-param, clean-param robots.txt, clean-param яндекс, склейка get-параметров

Что такое директива Clean-param в robots.txt и как убрать дубли страниц с GET-параметрами в Яндексе

Обновлено Время чтения: 23 мин

Коротко

Clean-param — директива [robots.txt](/slovar/robots-txt/) для поисковой системы Яндекс, которая описывает незначащие [GET-параметры](/slovar/get-parametry/) URL: параметры, которые не меняют содержимое страницы. Формат записи: Clean-param: параметры [путь], где параметры перечисляются через символ &, а необязательный путь ограничивает действие правила разделом сайта. Встретив такие параметры, робот Яндекса не загружает отдельно каждую копию адреса, а сводит их к адресу без параметров, что устраняет [дубли страниц](/slovar/dubli-stranits/). В отличие от [Disallow](/slovar/direktiva-disallow/), директива не просто запрещает сканирование, а помогает склеить сигналы копий с основной страницей. Для Google аналогичную задачу решает [canonical](/slovar/canonical/).

Что такое директива Clean-param

Многие сайты формируют адреса страниц с GET-параметрами — частью URL после знака вопроса. Параметры бывают значащими и незначащими. Значащие меняют содержимое: номер страницы пагинации, фильтр по цвету, идентификатор товара. Незначащие не меняют ничего: UTM-метки рекламных кампаний, идентификатор сессии, параметр источника перехода, метка партнёра.

Проблема в том, что для поисковой системы каждый уникальный адрес — потенциально отдельная страница. Адреса /catalog/phones/ и /catalog/phones/?utm_source=yandex выглядят разными, хотя содержимое одинаковое. Если таких вариантов много, робот тратит ресурсы на их обход, а в индексе появляются дубли, которые конкурируют с основной страницей.

Директива Clean-param решает эту задачу для Яндекса. В файле robots.txt вы перечисляете параметры, которые не влияют на содержимое, и робот Яндекса начинает считать адреса с этими параметрами копиями адреса без них. Он не обходит каждую копию отдельно и учитывает сигналы, например ссылки на адрес с меткой, для основной страницы.

Яндекс описывает Clean-param в справке для вебмастеров как рекомендуемый способ работы с динамическими параметрами. Директива межсекционная: её можно указать в любом месте robots.txt, и она будет учтена независимо от того, в какой группе User-agent находится.

  1. Чтение robots.txt

    робот загружает файл и находит директивы Clean-param

  2. Обнаружение адреса

    робот встречает URL с GET-параметрами по ссылке или в карте сайта

  3. Сравнение с правилом

    проверяет, есть ли в адресе параметры из Clean-param и подходит ли путь

  4. Сведение к основному

    удаляет незначащие параметры и получает основной адрес страницы

  5. Обход и учёт

    обходит основной адрес, а копии не загружает отдельно и не добавляет как дубли

Как робот Яндекса обрабатывает адреса с параметрами из Clean-param

Синтаксис директивы Clean-param

Формат директивы описан в справке Яндекса. Запись состоит из названия директивы, двоеточия, списка параметров и необязательного префикса пути.

Список параметров перечисляют через символ &. Например, Clean-param: utm_source&utm_medium&utm_campaign означает, что все три параметра незначащие. Регистр в именах параметров учитывается: utm_source и UTM_SOURCE — разные параметры.

Префикс пути указывают через пробел после списка параметров. Он ограничивает действие правила адресами, которые начинаются с этого пути. Например, Clean-param: sort&order /catalog/ действует только для адресов раздела каталога. Если путь не указан, правило применяется ко всему сайту. В пути можно использовать символ *, который означает любую последовательность символов, как в Disallow.

Для одного сайта можно указать несколько строк Clean-param. Это удобно, когда разные разделы используют разные параметры. Длина одного правила ограничена 500 символами, поэтому длинные списки лучше разбивать на несколько строк.

Элементы записи Clean-param
Элемент Пример Что означает
Один параметр для всего сайта Clean-param: sid параметр sid не меняет содержимое ни на одной странице |
Несколько параметров Clean-param: utm_source&utm_medium&utm_campaign все перечисленные метки незначащие |
Параметр для раздела Clean-param: sort /catalog/ параметр sort незначащий только в каталоге |
Путь со звёздочкой Clean-param: ref /blog/*/ параметр ref незначащий в любых подразделах блога |
Несколько правил две строки Clean-param для разных разделов разные параметры для разных частей сайта |
Синтаксис соответствует справке Яндекса для вебмастеров.

Совет

Перед добавлением параметра в Clean-param убедитесь, что он действительно не меняет содержимое. Откройте несколько адресов с разными значениями параметра и сравните страницы. Если содержимое отличается, параметр значащий, и закрывать его нельзя.

Примеры использования Clean-param

Ниже — типичные ситуации, в которых директива помогает убрать дубли и упорядочить индексацию. Перед использованием адаптируйте примеры под реальные параметры вашего сайта.

UTM-метки рекламных кампаний

Ссылки из рекламы, рассылок и социальных сетей часто содержат UTM-метки: utm_source, utm_medium, utm_campaign, utm_content, utm_term. Если такие ссылки попадают в открытый доступ, робот может их найти и начать обходить. Правило Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term сводит все варианты к адресу без меток.

Идентификаторы сессий и источников

Некоторые CMS добавляют в адрес идентификатор сессии, например sid или PHPSESSID. Партнёрские программы — параметры ref, partner, aff. Рекламные системы — идентификаторы кликов, например yclid или gclid. Все они не меняют содержимое и подходят для Clean-param.

Сортировка в каталоге

Параметры сортировки — sort, order, dir — меняют порядок товаров, но не сам набор. Обычно такие страницы не нужны в индексе. Правило Clean-param: sort&order /catalog/ сводит варианты сортировки к основной странице категории.

Параметры отображения

Количество товаров на странице, вид списка или плитки, валюта отображения — параметры вроде limit, view, currency. Если они не меняют состав и смысл страницы, их тоже можно описать в Clean-param.

Какие параметры обычно добавляют в Clean-param
Параметр Где встречается Можно ли добавить
utm_source, utm_medium, utm_campaign рекламные и маркетинговые ссылки да, не меняют содержимое |
yclid, gclid, fbclid идентификаторы кликов в рекламе да |
sid, PHPSESSID идентификаторы сессий да |
ref, partner, aff партнёрские программы да |
sort, order сортировка в каталоге обычно да |
page пагинация нет, меняет содержимое |
color, brand фильтры каталога нет, если формируют разные страницы |
id, product идентификатор товара нет, определяет страницу |

Чем Clean-param отличается от Disallow, canonical и мета-тега robots

С дублями страниц можно бороться разными способами, и у каждого свои последствия. Важно понимать, чем Clean-param отличается от других инструментов, чтобы выбрать подходящий.

Disallow в robots.txt запрещает сканирование адресов, которые совпадают с правилом. Например, Disallow: /*?utm_ запретит обход всех адресов с UTM-метками. Робот их не загрузит, но и не узнает, что это копии основной страницы. Если на адрес с меткой ведут внешние ссылки, их вес не будет учтён для основной страницы. Кроме того, закрытые адреса иногда остаются в индексе без описания.

Clean-param не просто запрещает обход, а объясняет роботу, что адрес с параметром — копия. Яндекс сводит такие адреса к основному, учитывает для него сигналы копий и не тратит ресурсы на повторный обход. Поэтому для незначащих параметров Яндекс рекомендует именно Clean-param.

Тег canonical указывает предпочтительный адрес страницы прямо в её коде. Его поддерживают и Яндекс, и Google. Но робот должен загрузить страницу, чтобы увидеть canonical, а значит краулинговый бюджет всё равно расходуется. Кроме того, canonical — это подсказка, а не строгое правило: поисковая система может выбрать другой адрес.

Мета-тег robots с noindex запрещает индексацию конкретной страницы. Для дублей с параметрами он подходит плохо: страницу с меткой нужно загрузить, чтобы увидеть мета-тег, а сигналы не передаются основному адресу.

Clean-param

склеивает копии с основным адресом в Яндексе, экономит обход, учитывает сигналы копий.

Disallow

запрещает обход адресов с параметром, но не склеивает их и не передаёт сигналы.

Canonical

указывает основной адрес в коде страницы, работает в Яндексе и Google, но требует загрузки страницы.

Мета-тег robots

запрещает индексацию конкретной страницы, не склеивает её с основной.

Какой инструмент выбрать для разных параметров
Тип параметра Яндекс Google
UTM-метки и идентификаторы кликов Clean-param canonical на основной адрес |
Идентификаторы сессий Clean-param, а лучше отказаться от них в URL canonical, отказ от сессий в URL |
Сортировка Clean-param или canonical canonical |
Фильтры без спроса Disallow или мета-тег noindex мета-тег noindex или canonical |
Фильтры с поисковым спросом отдельные ЧПУ-страницы, открытые для индексации отдельные ЧПУ-страницы |
Пагинация оставить открытой оставить открытой |

Важно

Не используйте Disallow и Clean-param для одних и тех же параметров одновременно. Если адрес закрыт через Disallow, робот не будет его обрабатывать, и Clean-param для него не сработает так, как задумано.

Как исправить уведомление «Найдены страницы-дубли с GET-параметрами»

Яндекс Вебмастер в разделе диагностики может показать уведомление «Найдены страницы-дубли с GET-параметрами». Оно означает, что робот обнаружил на сайте адреса, которые отличаются только параметрами, а содержимое у них одинаковое. Яндекс рекомендует использовать Clean-param, чтобы такие страницы не мешали индексированию.

Чтобы исправить проблему, откройте уведомление и посмотрите примеры адресов. Вебмастер показывает, какие параметры создают дубли. Сравните адреса с параметрами и без них, убедитесь, что содержимое действительно одинаковое, и составьте список незначащих параметров.

Затем добавьте директиву Clean-param в robots.txt. Если параметры используются по всему сайту, достаточно одной строки без пути. Если только в определённом разделе, укажите путь. После загрузки обновлённого файла проверьте его в инструменте анализа robots.txt в Вебмастере: там видно, корректно ли Яндекс прочитал директиву.

Уведомление исчезнет не сразу. Роботу нужно переобойти сайт с учётом новых правил, а алгоритмам — пересчитать данные. Обычно это занимает от нескольких дней до нескольких недель, в зависимости от размера сайта и частоты обхода.

  1. Откройте диагностику

    в Яндекс Вебмастере найдите уведомление о дублях с GET-параметрами и посмотрите примеры адресов.

  2. Определите параметры

    выпишите параметры, которые встречаются в примерах, и проверьте, меняют ли они содержимое.

  3. Напишите правило

    добавьте в robots.txt строку Clean-param со списком незначащих параметров и путём, если нужно.

  4. Проверьте файл

    в инструменте анализа robots.txt убедитесь, что директива прочитана без ошибок.

  5. Дождитесь переобхода

    следите за уведомлением и отчётом о страницах в поиске; при необходимости отправьте важные страницы на переобход.

Как Clean-param помогает экономить краулинговый бюджет

Поисковые системы не обходят бесконечно много страниц одного сайта. У каждого ресурса есть условный краулинговый бюджет — количество запросов, которое робот готов сделать за определённое время. Он зависит от размера сайта, скорости ответа сервера, популярности и частоты обновлений.

На сайтах с большим количеством параметров значительная часть бюджета может уходить на копии страниц. Например, если у каждой категории каталога есть варианты с десятком сортировок, UTM-метками и идентификаторами сессий, количество адресов вырастает в разы. Робот тратит запросы на одинаковые страницы, а новые товары и статьи обходятся реже.

Clean-param решает эту проблему для Яндекса. Робот заранее знает, какие параметры можно отбросить, и не запрашивает копии. Освободившийся бюджет уходит на полезные страницы. Это особенно заметно на крупных интернет-магазинах и порталах, где новые страницы появляются ежедневно.

Эффект можно отследить в Яндекс Вебмастере, в отчёте «Статистика обхода». После добавления правил количество запросов к адресам с параметрами должно снижаться, а доля обхода основных страниц — расти. Полезно также анализировать логи сервера: там видно, какие адреса робот запрашивает чаще всего.

  • Меньше запросов к копиям страниц с незначащими параметрами.
  • Быстрее индексируются новые товары, статьи и обновления.
  • Меньше нагрузка на сервер от повторных запросов робота.
  • Чище отчёты Вебмастера: меньше дублей и исключённых страниц.

Как решать ту же задачу в Google

Google не поддерживает директиву Clean-param и просто игнорирует её строку в robots.txt. Раньше в Google Search Console был инструмент «Параметры URL», где можно было указать, как обрабатывать параметры, но в 2022 году Google его отключил, объяснив, что научился определять незначащие параметры автоматически.

Для Google основным инструментом против дублей с параметрами остаётся тег canonical. На каждой странице указывают канонический адрес без незначащих параметров. Когда робот попадает на адрес с UTM-меткой, он видит canonical и понимает, какой адрес основной.

Важна и внутренняя перелинковка. Если все ссылки на сайте ведут на адреса без лишних параметров, поисковик реже встречает копии. UTM-метки стоит использовать только во внешних ссылках — в рекламе, рассылках, социальных сетях, — но не во внутренних ссылках сайта: это засоряет и индекс, и аналитику.

Если параметр создаёт страницы, которые не нужны в поиске вообще, например внутренний поиск по сайту, их закрывают мета-тегом robots с noindex. Disallow в robots.txt используют для разделов, которые роботу не нужно даже сканировать.

Как бороться с дублями с параметрами в Яндексе и Google
Инструмент Яндекс Google
Clean-param поддерживается, рекомендуемый способ игнорируется |
Canonical поддерживается основной способ |
Disallow поддерживается, но не склеивает поддерживается, но не склеивает |
Мета-тег robots noindex поддерживается поддерживается |
Настройка параметров в панели уведомления и анализ в Вебмастере инструмент «Параметры URL» отключён |
Внутренние ссылки без параметров важно важно |

Типичные ошибки при настройке Clean-param

Директива простая, но ошибки в ней встречаются часто. Одни приводят к тому, что правило не работает, другие — к тому, что из индекса пропадают нужные страницы.

  • В Clean-param добавлен значащий параметр, например номер страницы пагинации или фильтр, и Яндекс склеил разные страницы в одну.
  • Параметры перечислены через запятую или пробел вместо символа &, и правило читается неправильно.
  • Имя параметра написано в другом регистре, чем в реальных адресах.
  • Путь указан без косой черты в начале или не совпадает с реальной структурой сайта.
  • Одни и те же параметры закрыты и через Disallow, и через Clean-param.
  • Правило длиннее 500 символов и обрезается.
  • После изменения файла не проверено, как Яндекс прочитал директиву.

Особенно опасна первая ошибка. Если добавить в Clean-param параметр, который меняет содержимое, Яндекс начнёт считать разные страницы копиями одной. Например, если параметр page попадёт в правило, все страницы пагинации будут сведены к первой, и товары со второй и следующих страниц могут перестать находиться. Поэтому каждый параметр стоит проверять отдельно.

Ещё одна частая проблема — правило работает, но копии продолжают появляться, потому что их генерирует сам сайт. Если внутренние ссылки содержат UTM-метки или идентификаторы сессий, робот постоянно находит новые варианты. Clean-param помогает их склеить, но правильнее устранить источник: убрать параметры из внутренних ссылок.

Ошибка

Не добавляйте в Clean-param параметры «на всякий случай». Каждый параметр в правиле должен быть проверен: если вы не уверены, что он не меняет содержимое, лучше оставить его и решить вопрос через canonical.

Как настроить Clean-param на популярных CMS и платформах

Директива добавляется в файл robots.txt, поэтому способ настройки зависит от того, как на вашем сайте редактируется этот файл. На большинстве платформ это несложно, но есть особенности.

На сайтах с доступом к файловой системе robots.txt лежит в корне сайта и редактируется как обычный текстовый файл через файловый менеджер хостинга или FTP. После изменения достаточно сохранить файл и проверить его доступность по адресу /robots.txt.

В WordPress robots.txt может формироваться динамически самой системой или SEO-плагином. Если физического файла нет, его содержимое задаётся в настройках плагина. В 1С-Битрикс есть встроенный инструмент для редактирования robots.txt в разделе SEO, где можно добавить нужные строки. В конструкторах сайтов возможность редактировать robots.txt зависит от платформы: где-то есть отдельное поле в настройках SEO, где-то файл формируется автоматически.

Независимо от платформы, после изменения стоит открыть robots.txt в браузере и убедиться, что строка Clean-param на месте. Затем проверить файл в инструменте анализа robots.txt в Яндекс Вебмастере.

  • Сайты с доступом к файлам: отредактировать robots.txt в корне через файловый менеджер или FTP.
  • WordPress: проверить, формирует ли robots.txt система или плагин, и добавить строку в нужном месте.
  • Битрикс: использовать встроенный редактор robots.txt в разделе SEO.
  • Конструкторы сайтов: найти настройки robots.txt в разделе SEO или обратиться в поддержку платформы.
  • Любая платформа: проверить файл в браузере и в Яндекс Вебмастере после изменения.

Clean-param для интернет-магазина: практический разбор

Интернет-магазины — главные пользователи Clean-param. В каталоге много параметров: сортировки, отображение, фильтры, сравнение, метки рекламных кампаний, партнёрские ссылки. Без правил количество адресов может в десятки раз превышать количество реальных страниц.

Работу удобно начинать с инвентаризации параметров. С помощью SEO-краулера, логов сервера и отчётов Вебмастера соберите все параметры, которые встречаются в адресах сайта. Для каждого определите: меняет ли он содержимое, нужен ли он в поиске, есть ли по нему спрос.

Дальше параметры делятся на группы. Незначащие — UTM-метки, идентификаторы кликов и сессий, партнёрские метки — идут в Clean-param для всего сайта. Сортировки и параметры отображения — в Clean-param для раздела каталога. Фильтры без поискового спроса закрывают через Disallow или мета-тег noindex. Фильтры со спросом выносят на отдельные ЧПУ-страницы с уникальным заголовком и описанием и оставляют открытыми.

Такой подход упорядочивает индексацию: в поиске остаются категории, посадочные страницы фильтров и карточки товаров, а копии не мешают их ранжированию. Ссылочный вес, который приходит на адреса с метками из рекламы и партнёрских программ, учитывается для основных страниц.

Пример распределения параметров интернет-магазина
Параметр Пример значения Решение
utm_source, utm_campaign yandex, sale Clean-param для всего сайта |
yclid, gclid идентификатор клика Clean-param для всего сайта |
sort, order price, asc Clean-param для раздела каталога |
view, limit grid, 48 Clean-param для раздела каталога |
page 2, 3, 4 оставить открытым |
color без спроса редкий оттенок мета-тег noindex или Disallow |
brand со спросом популярный бренд отдельная ЧПУ-страница фильтра |

Как Clean-param связан с UTM-метками и аналитикой

UTM-метки нужны маркетингу: по ним системы аналитики определяют источник, канал и кампанию, из которой пришёл посетитель. Clean-param никак не мешает этой работе. Директива влияет только на то, как робот Яндекса обходит и индексирует адреса, а не на то, как работают счётчики на сайте.

Когда посетитель переходит по ссылке с UTM-метками, браузер открывает адрес с параметрами, счётчик Яндекс Метрики или другой системы считывает метки и записывает источник. Робот Яндекса при этом, встретив такой адрес, сведёт его к основному и не будет индексировать как отдельную страницу. Обе задачи решаются одновременно.

Важно другое: не использовать UTM-метки во внутренних ссылках сайта. Если, например, баннер на главной ведёт на категорию с меткой, при каждом переходе система аналитики будет начинать новый визит с другим источником, и данные о трафике исказятся. Для внутренних кампаний лучше использовать события и цели в аналитике.

  • UTM-метки используются только во внешних ссылках: реклама, рассылки, социальные сети.
  • Параметры меток описаны в Clean-param, чтобы робот не создавал дубли.
  • Внутренние ссылки ведут на адреса без меток.
  • Счётчики аналитики корректно считывают метки на посадочных страницах.

Частые вопросы вебмастеров о Clean-param

На форумах и в сообществах вебмастеров о Clean-param спрашивают часто. Вот ответы на самые распространённые вопросы.

Нужно ли писать Clean-param, если на сайте уже есть canonical? Для Яндекса это полезно: canonical требует загрузки каждой копии, а Clean-param позволяет роботу не запрашивать копии вообще. Инструменты хорошо дополняют друг друга.

Можно ли указать в Clean-param все параметры сразу через звёздочку? Нет, директива требует перечислить имена параметров. Звёздочку можно использовать только в пути, но не вместо названий параметров.

Сколько строк Clean-param можно добавить? Ограничения на количество строк Яндекс не устанавливает, но каждое правило должно быть не длиннее 500 символов. Удобно группировать параметры по смыслу: метки в одной строке, сортировки в другой.

Как быстро Яндекс учтёт изменения? Робот перечитывает robots.txt регулярно, обычно в течение суток. Но чтобы копии исчезли из индекса и уведомление в Вебмастере пропало, нужно время на переобход: от нескольких дней до нескольких недель.

Что будет, если параметр добавлен по ошибке? Яндекс начнёт склеивать страницы с разными значениями этого параметра. Если вы заметили ошибку, удалите параметр из правила, и после переобхода страницы снова будут учитываться отдельно.

Как Clean-param влияет на продвижение и ранжирование

Сама по себе директива не является фактором ранжирования. Яндекс не поднимет сайт в выдаче за то, что в robots.txt есть строка Clean-param. Но директива влияет на продвижение косвенно, и этот эффект бывает заметным.

Первое — концентрация сигналов. Когда на одну страницу ведут ссылки с разными параметрами, без Clean-param эти ссылки могут распределяться между копиями. После склейки ссылочного веса и поведенческих сигналов основной адрес получает их целиком. Это помогает странице занять более высокую позицию.

Второе — отсутствие конкуренции копий. Если в индексе несколько вариантов одной страницы, поисковик может показывать в выдаче то один, то другой адрес. Позиции скачут, сниппет меняется, видимость нестабильна. Clean-param убирает копии из этой гонки.

Третье — скорость индексации. Робот тратит меньше запросов на дубли и быстрее находит новые страницы и изменения на существующих. Для сайтов, где важна свежесть контента, это прямое влияние на трафик.

Четвёртое — чистота данных. Когда в отчётах Вебмастера меньше дублей и исключённых страниц, проще увидеть реальные проблемы и оценить метрики, которые важны для стратегии продвижения.

Как Clean-param помогает продвижению сайта
Эффект Без Clean-param С Clean-param
Ссылочные сигналы распределяются между копиями адреса собираются на основной странице |
Адрес в выдаче может меняться между копиями стабильно показывается основной адрес |
Скорость индексации робот тратит запросы на дубли робот быстрее находит новые страницы |
Отчёты Вебмастера много дублей и исключённых адресов чище данные для анализа |
Нагрузка на сервер повторные запросы к одинаковым страницам меньше лишних запросов |

Как проверить, что Clean-param работает правильно

После добавления директивы важно убедиться, что Яндекс прочитал её так, как вы задумали, и что в правило не попали лишние параметры.

Начните с инструмента анализа robots.txt в Яндекс Вебмастере. Вставьте текст файла и несколько адресов с параметрами. Инструмент покажет, разрешён ли адрес и как обрабатывается директива. Если в строке есть синтаксическая ошибка, Вебмастер сообщит об этом.

Затем проверьте сами страницы. Откройте основной адрес и адрес с параметром и убедитесь, что содержимое одинаковое, а на обоих указан одинаковый canonical. Если адрес с параметром отдаёт редирект на основной, это тоже нормально: тогда копия не возникнет вообще.

Через одну-две недели посмотрите отчёт о страницах в поиске и список исключённых страниц. Адреса с параметрами из правила должны постепенно исчезать или помечаться как дубли основной страницы. Полезно также найти сайт оператором site: с указанием параметра, например поиском по адресам с utm_source, и проверить, остались ли такие документы в индексе.

  • Директива прочитана без ошибок в инструменте анализа robots.txt.
  • Адреса с параметрами и без показывают одинаковое содержимое.
  • На копиях указан canonical на основной адрес.
  • Количество дублей с параметрами в отчётах Вебмастера снижается.
  • Уведомление о дублях с GET-параметрами исчезло после переобхода.

Как встроить Clean-param в техническую стратегию сайта

Директиву Clean-param полезно рассматривать не как разовую правку, а как часть постоянной работы с технической оптимизацией. Сайт меняется: появляются новые рекламные кампании, партнёрские программы, модули аналитики, функции каталога. Вместе с ними в адресах появляются новые параметры.

Удобно раз в квартал проводить инвентаризацию параметров. Выгрузите из логов сервера или из SEO-краулера список всех параметров, которые встречались в адресах за период, и сравните его с текущими правилами в robots.txt. Новые незначащие параметры добавьте в Clean-param, а параметры, которые перестали использоваться, можно удалить, чтобы файл оставался понятным.

При запуске новых функций полезно заранее договориться с разработкой: какие параметры будут добавляться в адреса, меняют ли они содержимое и нужно ли их учитывать в robots.txt. Это проще, чем потом искать причины появления дублей.

Также стоит согласовать работу с маркетингом. Команда, которая запускает рекламу и рассылки, должна знать, какие метки используются и почему важно не ставить их во внутренние ссылки. Тогда и аналитика будет точнее, и индекс чище.

Наконец, документируйте решения. В самом robots.txt можно оставлять комментарии после символа решётки: зачем добавлен параметр, к какой кампании или функции он относится. Через год такая заметка сэкономит время и вам, и коллегам.

  • Ежеквартальная инвентаризация параметров по логам и данным краулера.
  • Согласование новых параметров с разработкой до запуска функций.
  • Инструкция для маркетинга по использованию UTM-меток.
  • Комментарии в robots.txt с пояснением каждого правила.

Почему Яндекс придумал Clean-param и как менялся подход к параметрам

Динамические адреса с параметрами появились вместе с первыми системами управления сайтами и интернет-магазинами. Поисковые системы быстро столкнулись с тем, что один сайт может порождать бесконечное количество адресов: каждая комбинация сортировки, фильтра и метки давала новый URL. Роботы тратили ресурсы, а индексы заполнялись копиями.

Яндекс ответил на эту проблему собственной директивой в robots.txt. Её идея в том, чтобы владелец сайта сам сообщил, какие параметры не важны, и робот мог не гадать. Google пошёл другим путём: долгое время предлагал настройку параметров в панели для вебмастеров, а затем отказался от неё, сделав ставку на автоматическое определение и тег canonical.

Сегодня Clean-param остаётся рабочим и рекомендуемым инструментом для Яндекса. Вебмастер прямо предлагает её в уведомлениях о дублях, а справка подробно описывает синтаксис. Поэтому для сайтов, которые получают значительную часть трафика из Яндекса, настройка директивы — обязательная часть технического аудита.

Практический итог

Clean-param — директива robots.txt для Яндекса, которая описывает незначащие GET-параметры: UTM-метки, идентификаторы сессий и кликов, сортировки. Робот сводит адреса с такими параметрами к основному, не тратит ресурсы на копии и учитывает их сигналы для основной страницы.

Используйте Clean-param для параметров, которые точно не меняют содержимое, проверяйте каждое правило, не смешивайте его с Disallow для тех же параметров и дополняйте canonical для Google. Тогда индекс будет чище, обход эффективнее, а уведомление о дублях в Вебмастере исчезнет.

Главное

  • Clean-param — директива robots.txt, которая сообщает Яндексу, какие GET-параметры не меняют содержимое страницы.
  • Робот перестаёт обходить копии с такими параметрами и сводит их к основному адресу, устраняя дубли.
  • Синтаксис: Clean-param: параметр1&параметр2 /путь; путь необязателен и ограничивает действие правила.
  • Директиву поддерживает только Яндекс; для Google используют canonical и правильную внутреннюю перелинковку.
  • Clean-param решает уведомление «Найдены страницы-дубли с GET-параметрами» в Яндекс Вебмастере.

Какие инструменты Титло помогают найти дубли с параметрами

Чтобы правильно написать Clean-param, нужно знать, какие параметры реально встречаются в адресах сайта и какие из них создают копии страниц.

Связанные термины

Термины без ссылки ещё в работе — ссылки появятся после публикации.

Частые вопросы

Что такое Clean-param простыми словами?
Это строка в robots.txt, которая говорит Яндексу: адреса, отличающиеся только этими параметрами, — одна и та же страница. Робот не тратит время на копии и учитывает основной адрес.
Как правильно написать Clean-param?
Указать директиву, двоеточие, список параметров через & и при необходимости путь раздела. Например: Clean-param: utm_source&utm_medium&utm_campaign — для всех страниц, или Clean-param: sort /catalog/ — только для каталога.
Где разместить Clean-param в robots.txt?
Директива межсекционная: её можно указать в любом месте файла, робот Яндекса учтёт её независимо от группы User-agent. Многие для наглядности ставят её в группу для Яндекса или в конец файла.
Чем Clean-param лучше Disallow для параметров?
Disallow просто запрещает сканирование адресов с параметром, и сигналы этих адресов, например ссылки, не передаются основной странице. Clean-param сообщает, что это копии, и Яндекс сводит их к основному адресу.
Работает ли Clean-param в Google?
Нет. Google игнорирует эту директиву. Для Google дубли с параметрами решают тегом canonical, единообразными внутренними ссылками и, при необходимости, мета-тегом robots.
Что делать с уведомлением «Найдены страницы-дубли с GET-параметрами»?
Посмотреть в Вебмастере примеры адресов, определить незначащие параметры и добавить их в Clean-param в robots.txt. После этого дождаться переобхода; уведомление исчезнет, когда Яндекс обработает новые правила.