Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как повлияет на позиции сайта его полная переоптимизация и как быстро переиндексируются все изменения?

Есть сайт, создан недавно, почти год назад, занимались им не долго, наполнили контентом, понаблюдали месяц. После вынуждены были оставить, сайт рабочий, но заброшенный. Хотя, по...

Эффективны ли до сих пор анкорные ссылки при продвижении коммерческих запросов?

Анализировал сегодня один сайт, который сидит на 1 месте по определенному коммерческому запросу. Увидел закономерность, что у него закуплено много анкорных ссылок с этим ключевиком...

Нужно ли использовать атрибут rel= «canonical» для карточек товаров?

Заметил, что многие интернет-магазины не используют rel= "canonical" для товаров, которые отличаются только по цвету или размеру. У меня такие страницы Яндекс помечает как некачественные....

Если сайт на поддоменах, то нужно ли для каждого региона делать отдельную группу в соцсетях?

Нужно ли для каждого региона (сайт на поддоменах) делать своё представительство в соцсетях? То есть на каждый регион — своя группа? Будет ли это плюсом...

Как улучшить индексацию и вес крауд-ссылок?

Какой процент индексации крауд ссылок в среднем считается нормальным? Как можно улучшить индексацию крауда? Влияет ли качество профиля на качество ссылки? Ответ По нашему опыту...