Ответ
Для решения этой задачи есть несколько способов, но это лишь технические рекомендации для роботов, помните, что поисковой робот может к ним и не прислушаться:
- Задать настройки сканирования в файле robots.
При помощи атрибута Disallow можно указать конкретные страницы, каталоги или параметры, с которыми вы запрещаете индексацию поисковой системе.
Для этого прописываете в файле robots такую настройку:
Disallow: /catalog/category1/
Disallow: /catalog/*?sort=
Disallow: /catalog/*?filter=Но этот метод подходит только в том случае, если конкретный список категорий можно выделить по определенной маске.
- Метатег в meta robots на странице, указывающий роботам, как именно нужно обращаться с этой страницей.
В html теге <head> вы должны указать такое значение:
<meta name=»robots» content=»noindex, follow»> — чтобы робот увидел страницу, перешел по всем ссылкам на ней, передал с неё ссылочный вес но не индексировал её;или
<meta name=»robots» content=»noindex, nofollow»> — чтобы робот не индексировал страницу, не переходил по ссылкам на ней.Этот метод, наверное, вам подойдет больше, потому что с его помощью можно вырезать из индекса конкретные страницы, которые никак не схожи между собой по ключам в url. Для этого можно удобно перенести функцию выставления этого тега в админку сайта по галочке – поставили галочку «Не индексировать» — страница не попадает в карту сайта, а на самой странице выставляется meta noindex, убрали галочку в админке – страница попала в карту и на ней появился тег meta index.
- Заголовок X-Robots-Tag на уровне сервера.
Если страницы генерируются динамически, отдаются в нестандартных форматах (например, PDF в каталоге) или вы хотите сэкономить ресурсы CMS и не рендерить HTML-код для ненужных страниц, можно отдавать роботам HTTP-заголовок ответа через Nginx:
Nginx
location ~* /catalog/category1/ {
add_header X-Robots-Tag «noindex, nofollow»;
}
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- 6 плагинов для ускорения сайта на WordPress Плагины, которые мы рассмотрим в этой статье, необходимо использовать для того, чтобы ускорить работу сайта и, как следствие, сделать его более удобным /привлекательным для пользователей....
- Влияют ли изменения структуры страницы сайта на ее восприятие Google, как новой? Правильно ли я понимаю, что если структура страницы меняется, то Google в любом случае начинает думать, что это некая новая страница, и может даже не...
- Как правильно составлять атрибут ALT к изображениям на сайте? Как составлять АЛЬТЫ? Какой процент альтов включает геозависимость? Какая должна быть длина, контекст? Ответ Атрибут ALT необходим для поиска по картинкам и для вывода описания...
- Сколько времени сайт может отдавать ответ 503 без потерь позиций и что делать в таком случае? Если сайт временно поставить на обслуживание с 503 ответом, то через какое время он начнет терять позиции по SEO? И как их можно будет возвращать?...
- Как правильно перенести контент сайта при переезде на новую CMS, чтобы поисковики не восприняли его как неуникальный? Есть тематический сайт (услуги косметолога) на Wordpress. Контент уникальный, качественный с 2012 года. Планирую уйти на иную CMS. Как правильно перенести контент, чтобы поисковики не...
Оцените мою статью:
(1 оценок, среднее: 2,00 из 5)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
