Директива Clean-param: когда и как применять, принцип действия и аналоги

Прилетело на несколько сайтов сообщение в Яндекс Вебмастере о том, что некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Нужно ли прописать директиву Clean-param в Robots.txt в таких случаях? Попробовал прописать и при проверке в Вебмастере файла robots.txt пишет, что директива Clean-param некорректна. Можете пример привести, как ее стоит прописывать и объяснить, чем она может помочь в этой ситуации? Как Google отреагирует на эту директиву?

Ответ

Страницы с GET-параметрами в URL нежелательно оставлять открытыми для поисковых роботов, так как они приводят к дублированию страниц, а еще напрасно расходуют краулинговый бюджет.

Директива Clean-param в Robots.txt не только решает данную проблему, но и передает основному URL накопленные на страницах с GET параметрами показатели. Однако, эта директива работает только для роботов Яндекса.

Синтаксис директивы следующий:

Clean-param: p0[&p1&p2&..&pn] [path]

p — динамические параметры. Если их несколько, перечисляем через амперсанд, например, sid&sort

path — префикс, указывающий путь применения директивы. Например, если прописать /catalog/oboi/, то директива будет применяться только для данного раздела. Если ничего не прописать – для всего сайта.

К примеру, если мы хотим закрыть страницы фильтров

https://mysite.com/shop/all/good1?partner_fid=1
https://mysite.com/shop/all/good1?partner_fid=2

Директива будет следующая:

Clean-param: partner_fid / shop

Подробнее о данной директиве можно прочитать в Яндекс Справке.

Для Google есть следующие варианты решения проблемы:

Запретить сканирование URL с GET параметрами вручную с помощью инструмента «Параметры URL» в Search Console (можно найти в разделе «Прежние инструменты»). Подробнее в Справке Search Console.
Использовать мета-тег <meta name= «robots» content= «noindex, nofollow» /> на данных страницах.

Параллельно нужно указать в атрибуте Canonical страниц с GET параметрами ссылку на основную версию страницы.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Скрытие текста свойством display:none и последствия для SEO

Если после полной загрузки страницы я с помощью скрипта JS (просто вывожу свойство display:none) скрываю блок с описанием (чтобы полотно не занимало полстраницы), содержимое внутри...

Как улучшить индексацию ИМ и влияет ли вложенность URL на обход страниц роботом?

Влияет ли структура каталога на индексацию страниц? Прошло 2 месяца с момента запуска ИМ, а проиндексировалось менее 10% страниц. Знаю, что чем меньше вложенность, тем...

Как обеспечить сканирование и индексирование контента, загруженного с помощью AJAX (JavaScript)?

Хочу сделать информацию о проекте в модальном окне. Содержимое окна будет погружаться AJAXом. Как на это отреагируют поисковики? Сканируют ли роботы содержимое таких модальных окон?...

Как отменить запрос на удаление страницы из индекса?

Если случайно отправили запросы на удаление из индекса нужных страниц через Google Search Console, что сделать чтобы они не вылетели из индекса? Запросы отправлены, но...

Как обеспечить индексацию покупных ссылок

Как ускорить индексацию внешних ссылок? Страницы доноров не попадают в индекс, как ускорить чтобы бот прошел по ним (интересует больше Google). В популярных соц. сетях...