Ответ
Для решения этой задачи есть несколько способов, но это лишь технические рекомендации для роботов, помните, что поисковой робот может к ним и не прислушаться:
- Задать настройки сканирования в файле robots.
При помощи атрибута Disallow можно указать конкретные страницы, каталоги или параметры, с которыми вы запрещаете индексацию поисковой системе.
Для этого прописываете в файле robots такую настройку:
Disallow: /catalog/category1/
Disallow: /catalog/*?sort=
Disallow: /catalog/*?filter=Но этот метод подходит только в том случае, если конкретный список категорий можно выделить по определенной маске.
- Метатег в meta robots на странице, указывающий роботам, как именно нужно обращаться с этой страницей.
В html теге <head> вы должны указать такое значение:
<meta name=»robots» content=»noindex, follow»> — чтобы робот увидел страницу, перешел по всем ссылкам на ней, передал с неё ссылочный вес но не индексировал её;или
<meta name=»robots» content=»noindex, nofollow»> — чтобы робот не индексировал страницу, не переходил по ссылкам на ней.Этот метод, наверное, вам подойдет больше, потому что с его помощью можно вырезать из индекса конкретные страницы, которые никак не схожи между собой по ключам в url. Для этого можно удобно перенести функцию выставления этого тега в админку сайта по галочке – поставили галочку «Не индексировать» — страница не попадает в карту сайта, а на самой странице выставляется meta noindex, убрали галочку в админке – страница попала в карту и на ней появился тег meta index.
- Заголовок X-Robots-Tag на уровне сервера.
Если страницы генерируются динамически, отдаются в нестандартных форматах (например, PDF в каталоге) или вы хотите сэкономить ресурсы CMS и не рендерить HTML-код для ненужных страниц, можно отдавать роботам HTTP-заголовок ответа через Nginx:
Nginx
location ~* /catalog/category1/ {
add_header X-Robots-Tag «noindex, nofollow»;
}
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Мобильная адаптация сайта – ответы на вопросы В этой статье мы рассмотрим: Как влияет адаптивность сайта на ранжирование в ПС Как оптимизировать сайт под мобильные устройства Какие инструменты можно использовать для проверки...
- Работает ли сейчас оператор site: и можно ли с его помощью узнать наиболее релевантную ключу страницу? Работает ли оператор site: сейчас? Можно ли с его помощью узнать наиболее релевантную страницу ключу? В каких ситуациях его ещё можно использовать? Ответ Оператор site:...
- Какие технические аспекты наиболее важны для GEO (ИИ-ассистентов)? Какие технические аспекты (скорость загрузки, мобильная версия, Core Web Vitals, структурированные данные) сегодня наиболее важны и почему? Есть ли новые требования, связанные с ИИ-ассистентами? Ответ...
- Что делать с большим количеством обнаруженных редиректов? Google Search Console показывает очень много редиректов (7к). Я нашёл закономерности в URL некоторых редиректов и они не все могут быть устранены. Если я эти...
- Влияние HTML5 на SEO Что такое HTML5 семантика? Основные семантические элементы HTML5 header footer article section main nav aside Дополнительные полезные теги мультимедийные теги (audio, video) canvas details mark...
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
