Почему страницы с get-параметрами попадают в индекс, несмотря на запреты, и как это исправить?

Ответ

Краткий ответ – без специальных заморочек это сделать невозможно и нужно ли?

Google в своих рекомендациях прямо указывает, что, цитата: «даже если вы укажете каноническую страницу самостоятельно, мы по той или иной причине можем выбрать другую», ситуация с robots.txt аналогичная. Даже если вы укажите все эти запреты – для алгоритмов Google это лишь рекомендации. Поэтому, через время вы все равно увидите эти страницы в отчете в GSC, но это означает, что вам нужно просто обратить пристальное внимание на эти страницы.

На краулинговый бюджет стоит обращать внимание только когда становится видно, что боты не успевают переобходить важные страницы, до этого момента на него можно не обращать внимание. Если у вас не слишком крупный сайт — с краулинговым бюджетом вообще проблем быть не должно.

Что можно сделать, чтобы робот не индексировал эти страницы?

• Убрать все возможные внутренние и внешние ссылки на эти страницы: нет ссылок – краулеры поисковой системы их не видят – страницы не попадают в индекс;
• Сделать фильтрацию при помощи JS, в данном случае вся фильтрация будет происходить в браузере пользователя, в результате будет оставаться статичный URL. Роботы поисковых систем физически не будут видеть никаких ссылок с get-параметрами, а все клики пользователей будут проходить на единственной странице – точке входа;
• Создать из этих страниц фильтров точки входа (если вы видите, что страница посещаема пользователями, например, это «товар + характеристика», вы просто создаете из этого фильтра (или набора фильтров) статическую страницу, прописываете ей метатеги, и пользователь переходит уже не на страницу фильтра, а на хорошую страницу с url не из набора get параметров, а с нормальным чпу; преимущества этого подхода также и в том, что такая страница может успешно ранжироваться в выдаче по низкочастотному запросу.

Итоговый вывод таков: посмотрите, сколько страниц с наборами фильтров у вас в этих отчетах, создайте из части из них нормальные страницы с хорошими URL, а остальные закройте любым из способов: запрет в robots, запрет индексации на странице.

Еще по теме:

• Как исключить индексацию страниц и достаточно ли прописать rel nofollow?
Подскажите, достаточно ли прописать rel nofollow ссылкам фильтра товара, чтобы ПС отстал от них или их нужно совсем как-то скрывать чтобы их не было в...
• Как скрыть элемент страницы (например, кусок текста) от индексации?
Как скрыть определённый элемент страницы (например, кусок текста) от индексации? Какие элементы сайта нужно скрывать от индексации обязательно? Ответ Cкрыть определённый элемент страницы от индексации...
• Можно ли скрыть часть контента из-за низкой скорости загрузки?
Если никак не удаётся снизить скорость загрузки мобильной версии стоит ли внедрять AMP-технологию? Или ради снижения скорости загрузки можно удалять (скрывать) часть контента для мобильной...
• Как скрыть поддомены от индексации поисковых систем?
Google активно обходил и обходит страницы поддоменов разработчиков. Мы сразу этого не заметили, сейчас эти поддомены закрыли, но роботы успели обойти большое количество таких страниц....
• Как можно скрыть от индексации меню и часть категорий на странице?
Как можно скрыть от индексации меню? Есть сайт с большим выпадающим меню. Как скрыть часть категорий, чтобы они не участвовали в текстовом анализе на странице?...