Ответ
Страницы с GET-параметрами в URL нежелательно оставлять открытыми для поисковых роботов, так как они приводят к дублированию страниц, а еще напрасно расходуют краулинговый бюджет.
Директива Clean-param в Robots.txt не только решает данную проблему, но и передает основному URL накопленные на страницах с GET параметрами показатели. Однако, эта директива работает только для роботов Яндекса.
Синтаксис директивы следующий:
Clean-param: p0[&p1&p2&..&pn] [path]
p — динамические параметры. Если их несколько, перечисляем через амперсанд, например, sid&sort
path — префикс, указывающий путь применения директивы. Например, если прописать /catalog/oboi/, то директива будет применяться только для данного раздела. Если ничего не прописать – для всего сайта.
https://mysite.com/shop/all/good1?partner_fid=1
https://mysite.com/shop/all/good1?partner_fid=2
Директива будет следующая:
Clean-param: partner_fid / shop
Подробнее о данной директиве можно прочитать в Яндекс Справке.
Для Google есть следующие варианты решения проблемы:
- Запретить сканирование URL с GET параметрами вручную с помощью инструмента «Параметры URL» в Search Console (можно найти в разделе «Прежние инструменты»). Подробнее в Справке Search Console.
- Использовать мета-тег <meta name= «robots» content= «noindex, nofollow» /> на данных страницах.
Параллельно нужно указать в атрибуте Canonical страниц с GET параметрами ссылку на основную версию страницы.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как определить выпавшие из индекса страницы, если GSC не показывает больше 1000 штук и по какой причине Google мог склеить региональные поддомены? Есть большой англоязычный информационный сайт (спрос отчасти ситуативный). Где-то в начале мая по данным GSC количество страниц в индексе (Покрытие->Страницы без ошибок) существенно упало. Как...
- Ускорение переиндексации при наличии 301 редиректа Поменяли структуру сайта, при этом сменились URL, со старых страниц был сделан 301 редирект на новые. Как быстро должны переиндексироваться страницы с новыми URL в...
- Ускорит ли индексацию создание отдельного sitemap для обновленных страниц на сайте? Есть сайт, довольно большой (около 5000 страниц). На сайте обновили часть контента (35% от общего количества примерно). Для того чтобы эти страницы быстрее проиндексировались нужно...
- Нужно скрывать от индексации раздел «Новости компании»? На сайте юридической тематики 13 тыс страниц, 10-15% из которых составляют короткие заметки о жизни компании, которые понятное дело никто не читает, и с поиска...
- Какими инструментами проверить индексацию страниц своего сайта и сайтов конкурентов? Как можно быстро проверить индексацию всех страниц сайта? И то же самое с сайтами конкурентов: какие страницы индексируются, какие закрыты от индексации. Посоветуйте инструменты для...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Работы на 100%. Очень рекомендую"
Емельянов Данил Юрьевич
Tortoliano.ru"Я получил рекомендации и процесс сдвинулся с мёртвой точки."
"Помогли разобраться с микроразметкой даже в новогодние праздники"