Ответ
Страницы с GET-параметрами в URL нежелательно оставлять открытыми для поисковых роботов, так как они приводят к дублированию страниц, а еще напрасно расходуют краулинговый бюджет.
Директива Clean-param в Robots.txt не только решает данную проблему, но и передает основному URL накопленные на страницах с GET параметрами показатели. Однако, эта директива работает только для роботов Яндекса.
Синтаксис директивы следующий:
Clean-param: p0[&p1&p2&..&pn] [path]
p — динамические параметры. Если их несколько, перечисляем через амперсанд, например, sid&sort
path — префикс, указывающий путь применения директивы. Например, если прописать /catalog/oboi/, то директива будет применяться только для данного раздела. Если ничего не прописать – для всего сайта.
https://mysite.com/shop/all/good1?partner_fid=1
https://mysite.com/shop/all/good1?partner_fid=2
Директива будет следующая:
Clean-param: partner_fid / shop
Подробнее о данной директиве можно прочитать в Яндекс Справке.
Для Google есть следующие варианты решения проблемы:
- Запретить сканирование URL с GET параметрами вручную с помощью инструмента «Параметры URL» в Search Console (можно найти в разделе «Прежние инструменты»). Подробнее в Справке Search Console.
- Использовать мета-тег <meta name= «robots» content= «noindex, nofollow» /> на данных страницах.
Параллельно нужно указать в атрибуте Canonical страниц с GET параметрами ссылку на основную версию страницы.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как ускорить процесс индексирования беклинков в Google? Чем прогнать беклинки, чтобы Google начал их учитывать или заметил их? Ответ Чтобы Google заметил беклинки на ваш сайт, он должен их проиндексировать. Чтобы ускорить...
- Скрывать ли страницы фильтров от индексации поисковыми системами? Нужно ли скрывать страницу фильтра /filter в robots.txt? Может ли поисковый краулер сгенерировать все страницы, который может выдать фильтр? Или пока на эти страницы не...
- Как продвигать поддомены интернет-магазина по городам и избежать проблем с их индексацией? У интернет-магазина созданы поддомены для нескольких городов, размещены топонимы в title, description, h1 в категориях и карточках товаров. Товары в поддоменах индексируются неравномерно, вследствие чего...
- Как увеличить скорость индексирования сайта в Google? Гугл проиндексировал 165 страниц из 2520, одно время максимум было в индексе (в GSC) 500 страниц, но происходит постоянное наполнение интернет-магазина товаром и всё больше...
- Как реализовать всплывашку 18+, чтобы не было проблем с индексацией контента? Прилетел интернет-магазин серой тематики. Нужно ли на нем в обязательном порядке размещать всплывашку 18+ (по закону об ограничении контента для несовершеннолетних)? Если нужно, то как...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Получили ответы на все вопросы"
Павел
Kidride.ru"Помогли моему сайту выйти из-под фильтра Яндекса"
Ольга Куракина
Dogscat.com"Повторным аудитом остались довольны на все 100%"
Дмитрий Сокол
Hostings.info