Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

На что обращать внимание при расширении интернет-магазина и построении сети поддоменов?

Планируем расширять магазин на другие города с помощью поддоменов, на что нужно обратить внимание при разворачивании сети? Ответ В первую очередь постарайтесь провести анализ ниши...

Как улучшать EAT факторы для сайта медицинской тематики?

Как улучшать EAT факторы для сайта медицинской тематики под США? Где находить экспертов, которые оставят свои рецензии на статьи в блоге или согласятся написать свои...

Могли изменения title и description спровоцировать просадку позиций?

В индексе 10 млн страниц. Само собой, все описания и заголовки генерируются. Месяца полтора назад начал Вебмастер ругаться на пол миллиона страниц с одинаковыми заголовками...

Что делать со страницами c get-параметрами?

Есть сайт агрегатор. На карточку какой-либо компании с некоторых страниц идут простые ссылки, а с некоторых ссылки с параметром (например: /url-kartochki?idcomp=1) Как лучше указать в...

Можно ли публиковать контент с соц. сетей на сайте?

Если брать тексты из постов Instagram, ВК, Telegram или Facebook (уникальные), и добавлять их на сайт, они будут считаться уникальными или ПС посчитает их скопированным...