Ответ
Краткий ответ – без специальных заморочек это сделать невозможно и нужно ли?
Google в своих рекомендациях прямо указывает, что, цитата: «даже если вы укажете каноническую страницу самостоятельно, мы по той или иной причине можем выбрать другую», ситуация с robots.txt аналогичная. Даже если вы укажите все эти запреты – для алгоритмов Google это лишь рекомендации. Поэтому, через время вы все равно увидите эти страницы в отчете в GSC, но это означает, что вам нужно просто обратить пристальное внимание на эти страницы.
На краулинговый бюджет стоит обращать внимание только когда становится видно, что боты не успевают переобходить важные страницы, до этого момента на него можно не обращать внимание. Если у вас не слишком крупный сайт — с краулинговым бюджетом вообще проблем быть не должно.
Что можно сделать, чтобы робот не индексировал эти страницы?
- Убрать все возможные внутренние и внешние ссылки на эти страницы: нет ссылок – краулеры поисковой системы их не видят – страницы не попадают в индекс;
- Сделать фильтрацию при помощи JS, в данном случае вся фильтрация будет происходить в браузере пользователя, в результате будет оставаться статичный URL. Роботы поисковых систем физически не будут видеть никаких ссылок с get-параметрами, а все клики пользователей будут проходить на единственной странице – точке входа;
- Создать из этих страниц фильтров точки входа (если вы видите, что страница посещаема пользователями, например, это «товар + характеристика», вы просто создаете из этого фильтра (или набора фильтров) статическую страницу, прописываете ей метатеги, и пользователь переходит уже не на страницу фильтра, а на хорошую страницу с url не из набора get параметров, а с нормальным чпу; преимущества этого подхода также и в том, что такая страница может успешно ранжироваться в выдаче по низкочастотному запросу.
Итоговый вывод таков: посмотрите, сколько страниц с наборами фильтров у вас в этих отчетах, создайте из части из них нормальные страницы с хорошими URL, а остальные закройте любым из способов: запрет в robots, запрет индексации на странице.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Что делать, если в индексе два сайта с одинаковым контентом и как правильно закрыть один из них? Есть работающий магазин на конструкторе. Со временем решили сделать "нормальный" сайт. Как итог — полгода времени и куча потраченных денег. Сайт не нравится ни нам,...
- Какой код ответа ставить на страницы сайта, если стоит заглушка на доступ из других стран? Стоит заглушка на сайте, что контент в стране недоступен для всех стран, кроме страны регистрации сайта (по требованию правообладателей). Какой код ответа лучше ставить на...
- Как исключить индексацию страниц и достаточно ли прописать rel nofollow? Подскажите, достаточно ли прописать rel nofollow ссылкам фильтра товара, чтобы ПС отстал от них или их нужно совсем как-то скрывать чтобы их не было в...
- Как скрыть элемент страницы (например, кусок текста) от индексации? Как скрыть определённый элемент страницы (например, кусок текста) от индексации? Какие элементы сайта нужно скрывать от индексации обязательно? Ответ Cкрыть определённый элемент страницы от индексации...
- Какое влияние на продвижение сайта оказывают закрытые от индексации страницы и нужна ли уникализация контента на них? Есть сайт интернет-магазина. Размещенные на нем товары требуют определенных пояснений. Например, продаем диваны с разными вариантами обивки. Хотим объяснить, что такое эко кожа и другие...
Оцените мою статью:
(1 оценок, среднее: 4,00 из 5)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
