Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Есть ли у Яндекса фильтры, которые не понижают позиции, но срезают трафик?

Есть ли у Яндекса фильтры, которые не понижают позиции, но срезают трафик? Ситуация: в Яндексе срезало трафик, но позиции при этом остались на прежнем уровне....

Как ускорить индексацию нового сайта в Google?

Подскажите пожалуйста, почему сайт не индексируется в поиске Google. Был создан новый сайт без настроек 301 редиректа со старого домена на новый домен, так было...

Влияют ли поведенческие факторы на ранжирование в Google?

Как на счет ПФ в Google? Работают ли в этой ПС и какие факторы учитываются (возврат в выдачу, например, или длинна клика)? Ответ Поведенческие факторы,...

Будет ли полезно для SEO добавления к каждому отзыву на сайте мета-тегов и описания?

На сайте есть страница с отзывами: люди оставляют их, как отдельная запись в Wordpress. Есть функционал добавления к каждому отзыву мета-тегов и описание, нужно ли...

Можно ли поменять контакты и название бренда сайта без потери трафика и позиций?

У компании есть два сайта: старый и новый. На них одинаковые логотипы, контактные данные и названия, в тч в домене. Компания хочет продвигать оба сайта...