Robots.txt VS ‹meta name="robots" content="noindex"› : что выбрать и когда использовать

Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta name=»robots» content=»noindex»›?

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Нужно ли создавать новый раздел в ИМ, если в выдаче агрегаторы и профильные сайты?

Есть сайт по стройматериалам, хотим туда внедрить раздел шумоизоляция/звукоизоляция. В выдаче много профильных сайтов. Т.е. конкретно именно этой тематики. Есть конечно и такие же как...

Сколько времени занимает процесс склейки домена в Google и можно ли его ускорить?

Сайт изначально был www, потом стал no-www. Google продолжает выдавать результаты поиска с www версией и no-www версией вперемешку, как удалить результаты с www из...

Как проверить маршрут поискового робота по сайту и увеличить частоту индексации страниц?

Очень странно попадают страницы в индекс сайта - то днями ждать нужно, то сразу после создания. Как проверить маршрут робота по сайту? Хочу узнать причину...

Как найти площадки для ссылок, кроме тех, на которых размещался конкурент?

Как быстро найти площадки для ссылок, кроме тех, на которых размещался конкурент? Ответ Для быстрого нахождения площадок для размещения ссылок, кроме тех, где уже размещался...

Как избежать переспама на странице листинга?

Как избежать переспама на странице листинга, если в каждой карточке товара по сути ключ? Плюс основные ключи должны быть еще в метатегах и текстах. Как...