Ответ
Для решения этой задачи есть несколько способов, но это лишь технические рекомендации для роботов, помните, что поисковой робот может к ним и не прислушаться:
- Задать настройки сканирования в файле robots.
При помощи атрибута Disallow можно указать конкретные страницы, каталоги или параметры, с которыми вы запрещаете индексацию поисковой системе.
Для этого прописываете в файле robots такую настройку:
Disallow: /catalog/category1/
Disallow: /catalog/*?sort=
Disallow: /catalog/*?filter=Но этот метод подходит только в том случае, если конкретный список категорий можно выделить по определенной маске.
- Метатег в meta robots на странице, указывающий роботам, как именно нужно обращаться с этой страницей.
В html теге <head> вы должны указать такое значение:
<meta name=»robots» content=»noindex, follow»> — чтобы робот увидел страницу, перешел по всем ссылкам на ней, передал с неё ссылочный вес но не индексировал её;или
<meta name=»robots» content=»noindex, nofollow»> — чтобы робот не индексировал страницу, не переходил по ссылкам на ней.Этот метод, наверное, вам подойдет больше, потому что с его помощью можно вырезать из индекса конкретные страницы, которые никак не схожи между собой по ключам в url. Для этого можно удобно перенести функцию выставления этого тега в админку сайта по галочке – поставили галочку «Не индексировать» — страница не попадает в карту сайта, а на самой странице выставляется meta noindex, убрали галочку в админке – страница попала в карту и на ней появился тег meta index.
- Заголовок X-Robots-Tag на уровне сервера.
Если страницы генерируются динамически, отдаются в нестандартных форматах (например, PDF в каталоге) или вы хотите сэкономить ресурсы CMS и не рендерить HTML-код для ненужных страниц, можно отдавать роботам HTTP-заголовок ответа через Nginx:
Nginx
location ~* /catalog/category1/ {
add_header X-Robots-Tag «noindex, nofollow»;
}
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как оптимизировать страницы пагинации на сайте Настройка SEO пагинации Рекомендации поисковиков Актуальные способы настройки пагинации Настройка каноникала на первую страницу Настройка каноникала каждой из страниц на себя Оптимизация каждой страницы пагинации...
- Как автоматом раскидать ключи из GSC по релевантным страницам сайта? Есть ключи из GSC и есть страницы сайта. Как автоматом или полуавтоматом раскидать ключи по релевантным страницам сайта? Ответ Если речь идет о том, как...
- Как составить ТЗ на разработку интернет-магазина, чтобы получить максимум трафика сразу после запуска Что должно содержаться в техническом задании на разработку магазина? Обязательные этапы создания интернет-магазина Пример ТЗ на разработку интернет-магазина Пример ТЗ на структуру магазина Пример плана...
- Влияет ли использование протокола http/2 на SEO? Вопрос по переходу на протокол http/2 - скажите на сколько это важно для SEO? Сейчас выяснил, что наш сайт работает на http/1.1 Ответ Прямого влияния...
- Как грамотно составить ТЗ для программиста 1. Назначение, цели ТЗ 2. Общие рекомендации по написанию ТЗ 3. Общая структура ТЗ. От абстракции к конкретике Назначение, цели ТЗ Итак, техническое задание, сокращенно...
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
