Директива Clean-param: когда и как применять, принцип действия и аналоги

Прилетело на несколько сайтов сообщение в Яндекс Вебмастере о том, что некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Нужно ли прописать директиву Clean-param в Robots.txt в таких случаях? Попробовал прописать и при проверке в Вебмастере файла robots.txt пишет, что директива Clean-param некорректна. Можете пример привести, как ее стоит прописывать и объяснить, чем она может помочь в этой ситуации? Как Google отреагирует на эту директиву?

Ответ

Страницы с GET-параметрами в URL нежелательно оставлять открытыми для поисковых роботов, так как они приводят к дублированию страниц, а еще напрасно расходуют краулинговый бюджет.

Директива Clean-param в Robots.txt не только решает данную проблему, но и передает основному URL накопленные на страницах с GET параметрами показатели. Однако, эта директива работает только для роботов Яндекса.

Синтаксис директивы следующий:

Clean-param: p0[&p1&p2&..&pn] [path]

p — динамические параметры. Если их несколько, перечисляем через амперсанд, например, sid&sort

path — префикс, указывающий путь применения директивы. Например, если прописать /catalog/oboi/, то директива будет применяться только для данного раздела. Если ничего не прописать – для всего сайта.

К примеру, если мы хотим закрыть страницы фильтров

https://mysite.com/shop/all/good1?partner_fid=1
https://mysite.com/shop/all/good1?partner_fid=2

Директива будет следующая:

Clean-param: partner_fid / shop

Подробнее о данной директиве можно прочитать в Яндекс Справке.

Для Google есть следующие варианты решения проблемы:

Запретить сканирование URL с GET параметрами вручную с помощью инструмента «Параметры URL» в Search Console (можно найти в разделе «Прежние инструменты»). Подробнее в Справке Search Console.
Использовать мета-тег <meta name= «robots» content= «noindex, nofollow» /> на данных страницах.

Параллельно нужно указать в атрибуте Canonical страниц с GET параметрами ссылку на основную версию страницы.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Должен ли индексироваться текст из всплывашек в листингах интернет-магазина?

Часто в листингах ИМ при наведении курсора на элемент выводятся характеристики товара. Вопрос: должен ли этот текст индексироваться? Если должен, какие характеристики туда стоит вписывать,...

Как проверить индексацию купленных ссылок в Яндексе и Google?

Есть какие-либо ресурсы, сервисы и методы через которые можно проверить индексацию купленных ссылок в Яндексе и Google? Ответ Достоверно проверить индексацию купленных ссылок в Google...

Почему страницы со временем могут удалятся из индекса поисковых систем?

По каким причинам страницы могут исключаться из индекса, если до этого страницы нормально индексировались? Ответ Основные причины, которые влияют на выпадение страниц из индекса. Технические,...

Индексируют ли поисковые системы содержимое iframe и как именно?

Индексируют ли поисковые системы содержимое iframe и как именно? Ответ В ряде случаев Google может индексировать содержимое iframe, например, если содержимое iframe является важным для...

Какие страницы для сайтов интернет-магазинов лучше отправлять на индексацию через Google Indexing API?

Подскажите, какие страницы для сайтов интернет-магазинов лучше отправлять через Google Indexing API на индексацию: главная + рубрика или карточки в зависимости от % заполненности? Что...