Почему страницы с get-параметрами попадают в индекс, несмотря на запреты, и как это исправить?

Ответ

Краткий ответ – без специальных заморочек это сделать невозможно и нужно ли?

Google в своих рекомендациях прямо указывает, что, цитата: «даже если вы укажете каноническую страницу самостоятельно, мы по той или иной причине можем выбрать другую», ситуация с robots.txt аналогичная. Даже если вы укажите все эти запреты – для алгоритмов Google это лишь рекомендации. Поэтому, через время вы все равно увидите эти страницы в отчете в GSC, но это означает, что вам нужно просто обратить пристальное внимание на эти страницы.

На краулинговый бюджет стоит обращать внимание только когда становится видно, что боты не успевают переобходить важные страницы, до этого момента на него можно не обращать внимание. Если у вас не слишком крупный сайт — с краулинговым бюджетом вообще проблем быть не должно.

Что можно сделать, чтобы робот не индексировал эти страницы?

• Убрать все возможные внутренние и внешние ссылки на эти страницы: нет ссылок – краулеры поисковой системы их не видят – страницы не попадают в индекс;
• Сделать фильтрацию при помощи JS, в данном случае вся фильтрация будет происходить в браузере пользователя, в результате будет оставаться статичный URL. Роботы поисковых систем физически не будут видеть никаких ссылок с get-параметрами, а все клики пользователей будут проходить на единственной странице – точке входа;
• Создать из этих страниц фильтров точки входа (если вы видите, что страница посещаема пользователями, например, это «товар + характеристика», вы просто создаете из этого фильтра (или набора фильтров) статическую страницу, прописываете ей метатеги, и пользователь переходит уже не на страницу фильтра, а на хорошую страницу с url не из набора get параметров, а с нормальным чпу; преимущества этого подхода также и в том, что такая страница может успешно ранжироваться в выдаче по низкочастотному запросу.

Итоговый вывод таков: посмотрите, сколько страниц с наборами фильтров у вас в этих отчетах, создайте из части из них нормальные страницы с хорошими URL, а остальные закройте любым из способов: запрет в robots, запрет индексации на странице.

Еще по теме:

• Может ли большое количество технических поддоменов помешать продвижению основного сайта и стоит ли закрывать их от индексации?
Если у сайта есть множество различных поддоменов (личные кабинеты, технические поддомены, поддомены для сотрудников, софт размещенный на поддоменах и т.д.), то могут ли они помешать...
• Почему Google краулит ссылки с index.php, если на них нет прямых ссылок в html и как сделать, чтобы он их не находил?
Подскажите, почему Google краулит ссылки с index.php, если на них нет прямых ссылок в html и они есть только в php коде. Что нужно сделать...
• Какое влияние на продвижение сайта оказывают закрытые от индексации страницы и нужна ли уникализация контента на них?
Есть сайт интернет-магазина. Размещенные на нем товары требуют определенных пояснений. Например, продаем диваны с разными вариантами обивки. Хотим объяснить, что такое эко кожа и другие...
• Нужно ли закрывать от индексации сезонные товары и рубрики в интернет-магазине?
В интернет-магазине одежды была создана категория «новогодняя коллекция». Она хорошо проиндексировалась и имеет хороший органический траф. Эта категория актуальна только в сезон праздников (с октября...
• Нужно ли закрывать от индексации служебные страницы Оплата и Доставка, Контакты, Условия пользования, Политика конфиденциальность и др.?
Как думаете, трастовые страницы (например, Payment & Delivery, terms, cookie и privacy policy, др) нужно делать индексируемыми или лучше закрыть в meta name= "robots" content=...