Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Возможна ли мультиязычность на сайте без смены URL

Как реализовать мультиязычность на сайте без смены URL? Например, хотим, чтобы страница site.com/interesting-article ранжировалась на двух языках, но на сайте она будет доступна только на...

Какое количество ключей использовать при написании лонгридов?

Как обстоят дела с Баден-Баденом в нише информационников. Понятно, что для коммерческих страниц нежелательны портянки текста с кучей ключей. Но что делать с лонгридами, где...

Как безопаснее удалить старые карточки товаров и добавить новые для ИМ?

Есть ИМ в котором очень много товаров неактуальных (либо никогда их и не было, либо никогда уже и не появятся). Сейчас будут добавляться новые страницы...

Основные текстовые факторы ранжирования: от чего зависит релевантность текста?

Подскажите, как работают алгоритмы текстового ранжирования в ПС? Достаточно иметь точное вхождение запроса для того, чтобы страница считалась "заточенной" под него? Ответ Современные поисковые системы...