Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как правильно удалить старые страницы сайта без трафика?

Есть крупный сайт услуг с 300 тыс. страниц. Сайт хорошо ранжируется, быстро индексируется. Но на сайте много страниц без трафика – совсем старые статьи, новости...

Как объединить семантику для одного товара с несколькими значениями ключевых слов на главной посадочной странице?

Планирую создать промосайт/интернет-магазин одного товара — около 10 страниц: главная посадочная и разделы — фото, видео, доставка, отзывы, гарантия, вопросы и т.д. Товар — яркий...

Как подготовить сайт к переходу на mobile-first индексацию?

Cудя по последним новостям, Google снова переносит переход на mobile-first индексацию. Причина: не все сайты успели выполнить требования ПС. В отчете «Покрытие» как основной робот...

Можно ли оставить два сайта после переезда на другую CMS?

Есть сайт на тильде и сколько мы с ним не работаем - он никак не растёт. Решили менять полностью движок, структуру, по сути новый сайт...

Как реализовать всплывашку 18+, чтобы не было проблем с индексацией контента?

Прилетел интернет-магазин серой тематики. Нужно ли на нем в обязательном порядке размещать всплывашку 18+ (по закону об ограничении контента для несовершеннолетних)? Если нужно, то как...