Ответ
Для решения этой задачи есть несколько способов, но это лишь технические рекомендации для роботов, помните, что поисковой робот может к ним и не прислушаться:
- Задать настройки сканирования в файле robots.
При помощи атрибута Disallow можно указать конкретные страницы, каталоги или параметры, с которыми вы запрещаете индексацию поисковой системе.
Для этого прописываете в файле robots такую настройку:
Disallow: /catalog/category1/
Disallow: /catalog/*?sort=
Disallow: /catalog/*?filter=Но этот метод подходит только в том случае, если конкретный список категорий можно выделить по определенной маске.
- Метатег в meta robots на странице, указывающий роботам, как именно нужно обращаться с этой страницей.
В html теге <head> вы должны указать такое значение:
<meta name=»robots» content=»noindex, follow»> — чтобы робот увидел страницу, перешел по всем ссылкам на ней, передал с неё ссылочный вес но не индексировал её;или
<meta name=»robots» content=»noindex, nofollow»> — чтобы робот не индексировал страницу, не переходил по ссылкам на ней.Этот метод, наверное, вам подойдет больше, потому что с его помощью можно вырезать из индекса конкретные страницы, которые никак не схожи между собой по ключам в url. Для этого можно удобно перенести функцию выставления этого тега в админку сайта по галочке – поставили галочку «Не индексировать» — страница не попадает в карту сайта, а на самой странице выставляется meta noindex, убрали галочку в админке – страница попала в карту и на ней появился тег meta index.
- Заголовок X-Robots-Tag на уровне сервера.
Если страницы генерируются динамически, отдаются в нестандартных форматах (например, PDF в каталоге) или вы хотите сэкономить ресурсы CMS и не рендерить HTML-код для ненужных страниц, можно отдавать роботам HTTP-заголовок ответа через Nginx:
Nginx
location ~* /catalog/category1/ {
add_header X-Robots-Tag «noindex, nofollow»;
}
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- SEO чек-лист: что проверять перед запуском сайта? 1. Что проверить перед запуском сайта 1.1. Основные моменты 1.2. Технические аспекты 2. За чем следить после запуска сайта 2.1. Поведенческие факторы 2.2. Наличие фильтров...
- 17 советов как увеличить краулинговый бюджет Частая проблема сайтов-пациентов – низкая скорость обхода страниц поисковыми ботами. Особенно это актуально для Googlebot. Зачастую сталкиваемся с тем, что бот Яндекса обходит в 10–20...
- Какие технические ошибки реально влияют на позиции сайта в поиске? Какие технические ошибки реально влияют на позиции сайта в поиске, а какие — просто “формальные”? Ответ Граница между реально влияющими ошибками и "формальными" очень часто...
- Как блокировка отображения сайта в iframe на сторонних ресурсах влияет на ранжирование сайта? Веб-мастера сделали блокировку отображения сайта в iframe на сторонних ресурсах. После чего видимость немного ухудшилась. Вопрос: влияет ли такой запрет на ранжирование сайта? Ответ Напрямую...
- Как сделать редизайн и переезд сайта без потерь позиций и трафика Вступление Делая редизайн сайта, вы, конечно же, надеетесь на улучшение позиций, трафика. Вряд ли кто-то рассчитывает увидеть после доработок такой график: На практике ситуация с...
Оцените мою статью:
(1 оценок, среднее: 2,00 из 5)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
