Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Что занчит, если URL возвращает ложную ошибку 404 и как с этим бороться?

Подскажите, как бороться с ошибками в GSC "Отправленный URL возвращает ложную ошибку 404"? Не всегда эти страницы с 404 ошибкой, но робот почему-то их не...

Настраивать ли редиректы, если внешняя ссылка стоит на несуществующую страницу сайта?

Нужно ли настраивать редиректы, если внешняя ссылка стоит на несуществующую страницу сайта? Что делать, если таких ссылок много? Ответ Если вы видите, что достаточно больше...

Что такое rel = pingback, для чего этот атрибут используется в CMS?

Что такое rel = pingback, для чего этот атрибут используется? Стоит ли удалять его с сайта и как это сделать? Ответ Атрибут rel= "pingback" считается...

Как проверить SEO результат A/B-теста по двум лендингам?

Продукт проводит A/B-тест, выкатывая на долю пользователей новый лендинг, т. е. фактически для разных пользователей показываются два лендинга. Как в таких условиях замерить результат с...

С чем может быть связано падение DR после закупки ссылок?

После закупки ссылок с анкорами и без упал DR... на 3 единицы. Ресурсы хорошие были выбраны. До этого последний раз ссылки закупались год назад. До...