Директива Clean-param: когда и как применять, принцип действия и аналоги

Прилетело на несколько сайтов сообщение в Яндекс Вебмастере о том, что некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Нужно ли прописать директиву Clean-param в Robots.txt в таких случаях? Попробовал прописать и при проверке в Вебмастере файла robots.txt пишет, что директива Clean-param некорректна. Можете пример привести, как ее стоит прописывать и объяснить, чем она может помочь в этой ситуации? Как Google отреагирует на эту директиву?

Ответ

Страницы с GET-параметрами в URL нежелательно оставлять открытыми для поисковых роботов, так как они приводят к дублированию страниц, а еще напрасно расходуют краулинговый бюджет.

Директива Clean-param в Robots.txt не только решает данную проблему, но и передает основному URL накопленные на страницах с GET параметрами показатели. Однако, эта директива работает только для роботов Яндекса.

Синтаксис директивы следующий:

Clean-param: p0[&p1&p2&..&pn] [path]

p — динамические параметры. Если их несколько, перечисляем через амперсанд, например, sid&sort

path — префикс, указывающий путь применения директивы. Например, если прописать /catalog/oboi/, то директива будет применяться только для данного раздела. Если ничего не прописать – для всего сайта.

К примеру, если мы хотим закрыть страницы фильтров

https://mysite.com/shop/all/good1?partner_fid=1
https://mysite.com/shop/all/good1?partner_fid=2

Директива будет следующая:

Clean-param: partner_fid / shop

Подробнее о данной директиве можно прочитать в Яндекс Справке.

Для Google есть следующие варианты решения проблемы:

Запретить сканирование URL с GET параметрами вручную с помощью инструмента «Параметры URL» в Search Console (можно найти в разделе «Прежние инструменты»). Подробнее в Справке Search Console.
Использовать мета-тег <meta name= «robots» content= «noindex, nofollow» /> на данных страницах.

Параллельно нужно указать в атрибуте Canonical страниц с GET параметрами ссылку на основную версию страницы.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как вернуть сайт в индекс Google после временной недоступности и ошибки «запрос на индексирование отклонен»?

Как вернуть сайт в индекс Гугла? Проект не работал неделю. Консоль все ещё говорит, что "Запрос на индексирование отклонен. Во время проверки были обнаружены ошибки...

Можно ли с помощью крауда загнать страницу в индекс?

Можно ли с помощью крауда загнать страницу в индекс? Или для этих целей подходят только качественные ссылки? Ответ Использование крауд-маркетинга (как например, размещение ссылок на...

Если сайт SPA — разумно ли отдавать боту ПС статику и как правильно индексировать SPA?

Если сайт SPA, будет ли разумно боту ПС отдавать статику? И как правильно индексировать SPA? Ответ Во многих ситуациях ситуациях, мы действительно можем рекомендовать отдавать...

Должен ли индексироваться текст из всплывашек в листингах интернет-магазина?

Часто в листингах ИМ при наведении курсора на элемент выводятся характеристики товара. Вопрос: должен ли этот текст индексироваться? Если должен, какие характеристики туда стоит вписывать,...

Почему страницы получают статус «Проиндексировано, несмотря на блокировку в файле robots.txt»?

В GSC у части страниц статус "Проиндексировано, несмотря на блокировку в файле robots.txt". Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить...