Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как найти просевшие страницы и запросы, если упал трафик?

Как найти страницы, которые раньше приносили трафик на сайт, а после обвала перестали? И по каким запросам эти страницы просели? Ответ Прежде чем начать поиск...

Как ускорить индексацию молодого сайта в Google?

Есть мнение, что Google не сильно торопится индексировать новые сайты. Правда ли это и как можно быстро скормить новенький ИМ Google? Какие действия помогут? Ответ...

Можно ли для продвижения в описаниях товара указывать города или лучше создать отдельные страницы?

Можно ли нормально продвигаться по разным городам, если в описаниях товара указывать, что товар можно приобрести в Городе1, Городе2, Городе3 и т.д.? Или нужно все-таки...

Как проставлять ссылки с дропов, чтобы не спалить такую сеть перед Google?

Есть сетка из 300 дропов. По какому принципу вы бы проставляли ссылки с дропов, чтобы не спалить сетку Google и получить максимально пользы? Ответ На...

Как правильно построить перелинковку с сайтом-донором и какое количество ссылок проставить?

Есть хороший донор, тематика и структура сайта совпадает с моим сайтом на 80%. С донорских страниц категорий или подкатегорий стоит ссылаться на страницы подкатегорий моего...