Почему страницы с get-параметрами попадают в индекс, несмотря на запреты, и как это исправить?

Ответ

Краткий ответ – без специальных заморочек это сделать невозможно и нужно ли?

Google в своих рекомендациях прямо указывает, что, цитата: «даже если вы укажете каноническую страницу самостоятельно, мы по той или иной причине можем выбрать другую», ситуация с robots.txt аналогичная. Даже если вы укажите все эти запреты – для алгоритмов Google это лишь рекомендации. Поэтому, через время вы все равно увидите эти страницы в отчете в GSC, но это означает, что вам нужно просто обратить пристальное внимание на эти страницы.

На краулинговый бюджет стоит обращать внимание только когда становится видно, что боты не успевают переобходить важные страницы, до этого момента на него можно не обращать внимание. Если у вас не слишком крупный сайт — с краулинговым бюджетом вообще проблем быть не должно.

Что можно сделать, чтобы робот не индексировал эти страницы?

• Убрать все возможные внутренние и внешние ссылки на эти страницы: нет ссылок – краулеры поисковой системы их не видят – страницы не попадают в индекс;
• Сделать фильтрацию при помощи JS, в данном случае вся фильтрация будет происходить в браузере пользователя, в результате будет оставаться статичный URL. Роботы поисковых систем физически не будут видеть никаких ссылок с get-параметрами, а все клики пользователей будут проходить на единственной странице – точке входа;
• Создать из этих страниц фильтров точки входа (если вы видите, что страница посещаема пользователями, например, это «товар + характеристика», вы просто создаете из этого фильтра (или набора фильтров) статическую страницу, прописываете ей метатеги, и пользователь переходит уже не на страницу фильтра, а на хорошую страницу с url не из набора get параметров, а с нормальным чпу; преимущества этого подхода также и в том, что такая страница может успешно ранжироваться в выдаче по низкочастотному запросу.

Итоговый вывод таков: посмотрите, сколько страниц с наборами фильтров у вас в этих отчетах, создайте из части из них нормальные страницы с хорошими URL, а остальные закройте любым из способов: запрет в robots, запрет индексации на странице.

Еще по теме:

• Нужно ли закрывать от индексации сезонные товары и рубрики в интернет-магазине?
В интернет-магазине одежды была создана категория «новогодняя коллекция». Она хорошо проиндексировалась и имеет хороший органический траф. Эта категория актуальна только в сезон праздников (с октября...
• Как удалить из индекса ПС большое количество мусорных спамных страниц?
У нас взламывали сайт и в индекс попало куча мусорных страниц с вирусами, китайскими текстами и ссылками. Уже ситуация решилась, но мы всё не можем...
• Нужно ли закрывать от индексации служебные страницы Оплата и Доставка, Контакты, Условия пользования, Политика конфиденциальность и др.?
Как думаете, трастовые страницы (например, Payment & Delivery, terms, cookie и privacy policy, др) нужно делать индексируемыми или лучше закрыть в meta name= "robots" content=...
• Может ли большое количество технических поддоменов помешать продвижению основного сайта и стоит ли закрывать их от индексации?
Если у сайта есть множество различных поддоменов (личные кабинеты, технические поддомены, поддомены для сотрудников, софт размещенный на поддоменах и т.д.), то могут ли они помешать...
• Что делать, если в индексе два сайта с одинаковым контентом и как правильно закрыть один из них?
Есть работающий магазин на конструкторе. Со временем решили сделать "нормальный" сайт. Как итог — полгода времени и куча потраченных денег. Сайт не нравится ни нам,...