Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как Google воспримет то, что языковые страницы сайта будут отличаться по сути по одному запросу?

Есть мультиязычный сайт с английским (EN), турецким (TR) и испанским (ES) языками. Пример: запрос "Налоги в США". Хочу сделать страницу EN, но не оставлять TR...

Как повлияет на индексацию отсутствие внутренних ссылок на лендинги сайта?

Сделал лендинги под важные для меня ключевые слова, но у меня нигде нет внутренней ссылки на эти страницы. Насколько это может повлиять на выдачу в...

Как правильно поступить с title и h1 для идентичных товаров с полностью одинаковым названием?

Предположим, что у интернет-магазина с большим ассортиментом есть несколько идентичных товаров с полностью одинаковым названием (title, h1), которые отличаются только каким-то мелким параметром. Объединить их...

Как перелинковать поддомены, чтобы правильно распределить ссылочный вес?

Как правильно перелинковать между собой поддомены, чтобы +/- правильно распределить ссылочный вес? Если есть 2-3 приоритетных региона, можно ли закупать внешние ссылки только на основной...

Влияют ли негативные отзывы на ранжирование и падение позиций?

Есть ли связь между позициями сайта по запросам и негативными отзывами на отзовиках и картах? Если есть, как их можно удалить? Ответ Если говорить о...