Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

«Страница просканирована, но не проиндексирована» и «Страница обнаружена, но не проиндексирована» — в чем разница?

Чем отличаются "страницы просканированы, но не проиндексированы" от "страницы обнаружены, но не проиндексированы"? Как улучшить индексацию первых и вторых страниц? Ответ Сообщение "Страница просканирована, но...

Влияет ли микроразметка на релевантность страницы?

Если добавить микроразметку Article это как-то повлияет на релевантность документа в Google? И влияет ли вообще наличие микроразметки напрямую на документ или может повлиять только...

Как переделать структуру сайта без потери трафика и позиций?

Делал ИМ, по глупости наделал много категорий, в которых товары пересекаются и частично дублируются, при этом текстовые описания и метатеги у категорий разные. Как теперь...

Как скрыть поддомены от индексации поисковых систем?

Google активно обходил и обходит страницы поддоменов разработчиков. Мы сразу этого не заметили, сейчас эти поддомены закрыли, но роботы успели обойти большое количество таких страниц....

Как определить парсинг сайта или DDOS атаку?

Периодически стал ложиться сайт из-за большой нагрузки (может нас кто-то парсит). Как проверить из-за какой именно? Может как-то можно в аналитике засечь это? Ответ Есть...