Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Что в настоящее время влияет на краулинговый бюджет сайта?

Что в настоящее время оказывает влияние на краулинговый бюджет поисковых роботов? И как можно увеличить краулинговый бюджет для сайта? Ответ В настоящее время на краулинговый...

Как лучше организовать перелинковку информационного ресурса?

Есть информационный сайт со 100 статьями, размещенных в 10 категориях. Никаких сквозняков и меню. Ведется закупка ссылочной массы, в основном безанкорная на главную страницу. Какой...

Как удалить http страницы из индекса Google после переезда на https?

Сайт уже несколько лет назад переведен на https, со всех страниц с http сделан редирект 301 на https. Но Google несколько десятков страниц с http...

Что делать с URL товаров, которые закончились, но страницы выдает в поиске?

У нас интернет-магазин мужской одежды. Заметила в поиске по нашим ключевым запросам выдаются в том числе страницы наших товаров, которых давно нет в наличии. Если...

О каких проблемах говорит отсутсвие страницы по title с брендом в ТОП-10?

Если на молодом сайте недавно вылетевшая со всех ключей страничка не гуглится по тайтлу (тайтл по всем канонам с бренднеймом) в ТОП-10, то это может...