Ответ
Для решения этой задачи есть несколько способов, но это лишь технические рекомендации для роботов, помните, что поисковой робот может к ним и не прислушаться:
- Задать настройки сканирования в файле robots.
При помощи атрибута Disallow можно указать конкретные страницы, каталоги или параметры, с которыми вы запрещаете индексацию поисковой системе.
Для этого прописываете в файле robots такую настройку:
Disallow: /catalog/category1/
Disallow: /catalog/*?sort=
Disallow: /catalog/*?filter=Но этот метод подходит только в том случае, если конкретный список категорий можно выделить по определенной маске.
- Метатег в meta robots на странице, указывающий роботам, как именно нужно обращаться с этой страницей.
В html теге <head> вы должны указать такое значение:
<meta name=»robots» content=»noindex, follow»> — чтобы робот увидел страницу, перешел по всем ссылкам на ней, передал с неё ссылочный вес но не индексировал её;или
<meta name=»robots» content=»noindex, nofollow»> — чтобы робот не индексировал страницу, не переходил по ссылкам на ней.Этот метод, наверное, вам подойдет больше, потому что с его помощью можно вырезать из индекса конкретные страницы, которые никак не схожи между собой по ключам в url. Для этого можно удобно перенести функцию выставления этого тега в админку сайта по галочке – поставили галочку «Не индексировать» — страница не попадает в карту сайта, а на самой странице выставляется meta noindex, убрали галочку в админке – страница попала в карту и на ней появился тег meta index.
- Заголовок X-Robots-Tag на уровне сервера.
Если страницы генерируются динамически, отдаются в нестандартных форматах (например, PDF в каталоге) или вы хотите сэкономить ресурсы CMS и не рендерить HTML-код для ненужных страниц, можно отдавать роботам HTTP-заголовок ответа через Nginx:
Nginx
location ~* /catalog/category1/ {
add_header X-Robots-Tag «noindex, nofollow»;
}
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Какое серверное время задать на сайте, если он под штаты США? Подскажите, если сайт под США/штаты/города листингами, в карточках время добавления материала, какое серверное время предпочтительно задать? Ответ Подстраивайтесь под местное время того города/штата, в котором...
- Обзор CMS-систем — какой движок выбрать? Часть 1 При создании сайта мы часто делаем выбор в пользу CMS. Давай попробуем разобраться, чем же обусловлен наш выбор, и как определиться с подходящим инструментом. Предисловие...
- Как обеспечить индексацию динамического AJAX-контента в модальном окне? Хочу сделать информацию о проекте в модальном окне. Содержимое окна будет погружаться AJAXом. Как на это среагируют поисковики? Как обеспечить индексирование информации в этих окнах?...
- Пример ТЗ на разработку сайта: универсальные пункты и образец составления Что такое тз для сайта и зачем оно нужно Кто составляет задание на создание сайта Как написать хорошее ТЗ Пример оформления технического задания для сайта...
- Зеркала сайта и объединение доменов Что такое зеркало сайта Зачем нужны зеркала Как определить зеркала сайта Как указать главное зеркало Как расклеить домены Мини-кейсы от Siteclinic 1. Как быстро восстановить...
Оцените мою статью:
(1 оценок, среднее: 2,00 из 5)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
