Директива Clean-param: когда и как применять, принцип действия и аналоги

Прилетело на несколько сайтов сообщение в Яндекс Вебмастере о том, что некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Нужно ли прописать директиву Clean-param в Robots.txt в таких случаях? Попробовал прописать и при проверке в Вебмастере файла robots.txt пишет, что директива Clean-param некорректна. Можете пример привести, как ее стоит прописывать и объяснить, чем она может помочь в этой ситуации? Как Google отреагирует на эту директиву?

Ответ

Страницы с GET-параметрами в URL нежелательно оставлять открытыми для поисковых роботов, так как они приводят к дублированию страниц, а еще напрасно расходуют краулинговый бюджет.

Директива Clean-param в Robots.txt не только решает данную проблему, но и передает основному URL накопленные на страницах с GET параметрами показатели. Однако, эта директива работает только для роботов Яндекса.

Синтаксис директивы следующий:

Clean-param: p0[&p1&p2&..&pn] [path]

p — динамические параметры. Если их несколько, перечисляем через амперсанд, например, sid&sort

path — префикс, указывающий путь применения директивы. Например, если прописать /catalog/oboi/, то директива будет применяться только для данного раздела. Если ничего не прописать – для всего сайта.

К примеру, если мы хотим закрыть страницы фильтров

https://mysite.com/shop/all/good1?partner_fid=1
https://mysite.com/shop/all/good1?partner_fid=2

Директива будет следующая:

Clean-param: partner_fid / shop

Подробнее о данной директиве можно прочитать в Яндекс Справке.

Для Google есть следующие варианты решения проблемы:

Запретить сканирование URL с GET параметрами вручную с помощью инструмента «Параметры URL» в Search Console (можно найти в разделе «Прежние инструменты»). Подробнее в Справке Search Console.
Использовать мета-тег <meta name= «robots» content= «noindex, nofollow» /> на данных страницах.

Параллельно нужно указать в атрибуте Canonical страниц с GET параметрами ссылку на основную версию страницы.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как удалить из индекса ПС большое количество мусорных спамных страниц?

У нас взламывали сайт и в индекс попало куча мусорных страниц с вирусами, китайскими текстами и ссылками. Уже ситуация решилась, но мы всё не можем...

Когда открывать сайт к индексации и достаточно ли шаблонной оптимизации?

Как лучше заливать большой ИМ в индекс: сразу 50К страниц или лучше постепенно по отдельным категориям? И достаточно ли шаблонной оптимизации для начала или лучше...

Пустые категории сайта: влияние на ранжирование, закрытие от индексации, удаление

На сайте есть пустые категории (довольно много) без карточек товаров. Как лучше поступить? Закрыть их от индексации, или оставить до момента заполнения? Если их закрыть...

Скрытие текста свойством display:none и последствия для SEO

Если после полной загрузки страницы я с помощью скрипта JS (просто вывожу свойство display:none) скрываю блок с описанием (чтобы полотно не занимало полстраницы), содержимое внутри...

Закрывать ли страницы пагинации в интернет-магазинах в robots или нет?

Что делать со страницами пагинации в интернет магазинах? Закрывать их от индексации в robots или не трогать? Пример: 1. Есть страница категории товара site.сom/category01/ на...