Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Влияет ли количество контента на странице на частоту сканирования и индексирование этой страницы?

Влияет ли количество товаров на странице категории на частоту сканирования и индексирование этой страницы? Тот же вопрос и про количество текста на инфо странице. Ответ...

Почему Google bot видит страницу пустой и как исправить ситуацию?

Почему Google bot может видеть страницу пустой? Что проверять в данном случае и как исправлять ситуацию? Ответ Если Googlebot видит страницу пустой, это может быть...

Можно ли скрыть часть контента из-за низкой скорости загрузки?

Если никак не удаётся снизить скорость загрузки мобильной версии стоит ли внедрять AMP-технологию? Или ради снижения скорости загрузки можно удалять (скрывать) часть контента для мобильной...

Можно ли ориентироваться на данные GSC для определения просадки трафика и позиций?

Можно ли ориентироваться на данные GSC по кликам/показам для определения просадки, например? Насколько они актуально и полно описывают картину? Или для анализа просадки лучше использовать...

Какие анкоры нужно подбирать для форумных ссылок?

Какие анкоры нужно подбирать для форумных ссылок? Ответ Если речь идет о Крауд ссылках, то для правильного определения анкор листа вам нужно составить список ключевых...