Директива Clean-param: когда и как применять, принцип действия и аналоги

Прилетело на несколько сайтов сообщение в Яндекс Вебмастере о том, что некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Нужно ли прописать директиву Clean-param в Robots.txt в таких случаях? Попробовал прописать и при проверке в Вебмастере файла robots.txt пишет, что директива Clean-param некорректна. Можете пример привести, как ее стоит прописывать и объяснить, чем она может помочь в этой ситуации? Как Google отреагирует на эту директиву?

Ответ

Страницы с GET-параметрами в URL нежелательно оставлять открытыми для поисковых роботов, так как они приводят к дублированию страниц, а еще напрасно расходуют краулинговый бюджет.

Директива Clean-param в Robots.txt не только решает данную проблему, но и передает основному URL накопленные на страницах с GET параметрами показатели. Однако, эта директива работает только для роботов Яндекса.

Синтаксис директивы следующий:

Clean-param: p0[&p1&p2&..&pn] [path]

p — динамические параметры. Если их несколько, перечисляем через амперсанд, например, sid&sort

path — префикс, указывающий путь применения директивы. Например, если прописать /catalog/oboi/, то директива будет применяться только для данного раздела. Если ничего не прописать – для всего сайта.

К примеру, если мы хотим закрыть страницы фильтров

https://mysite.com/shop/all/good1?partner_fid=1
https://mysite.com/shop/all/good1?partner_fid=2

Директива будет следующая:

Clean-param: partner_fid / shop

Подробнее о данной директиве можно прочитать в Яндекс Справке.

Для Google есть следующие варианты решения проблемы:

Запретить сканирование URL с GET параметрами вручную с помощью инструмента «Параметры URL» в Search Console (можно найти в разделе «Прежние инструменты»). Подробнее в Справке Search Console.
Использовать мета-тег <meta name= «robots» content= «noindex, nofollow» /> на данных страницах.

Параллельно нужно указать в атрибуте Canonical страниц с GET параметрами ссылку на основную версию страницы.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как повлияет на индексацию отсутствие внутренних ссылок на лендинги сайта?

Сделал лендинги под важные для меня ключевые слова, но у меня нигде нет внутренней ссылки на эти страницы. Насколько это может повлиять на выдачу в...

Почему уникальные статьи не индексируются ПС?

Почему статьи не индексируются ПС, несмотря на то, что они уникальны на 90-100%? Ответ Зачастую проблемы с индексацией страниц сайта заключаются в недостаточном внимании к...

Как вернуть трафик и страницы в индекс, если в robots был случайно закрыт весь раздел блога?

Случайно был закрыт от индексации раздел со статьями (блог) в robots.txt. Как результат: из Google выпал весь раздел блога (все страницы), трафик ощутимо упал. Как...

Какое влияние на продвижение сайта оказывают закрытые от индексации страницы и нужна ли уникализация контента на них?

Есть сайт интернет-магазина. Размещенные на нем товары требуют определенных пояснений. Например, продаем диваны с разными вариантами обивки. Хотим объяснить, что такое эко кожа и другие...

Почему через оператор site страницу не находит в поиске Google?

По данным Google вебмастера страница есть в индексе, но через оператор site:site.com "название товара" не находит в поиске. Почему такое может быть? Ответ То, что...