Robots.txt VS ‹meta name= «robots» content= «noindex» › : что выбрать и когда использовать

Ответ

С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.

Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.

Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.

Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.

Еще по теме:

• Как новому сайту начинать наращивать анкорные ссылки?
Подскажите, для молодого сайта когда можно начинать покупать анкорные ссылки? И что на первом этапе важнее, ставить побольше разных анкоров или в плане анкоров разнообразие...
• Протокол http/2: преимущества, как переехать, какая польза для SEO
Наткнулся на статью про протокол http/2. Основное, что для себя отметил, это то, что его наличие позволит ускорить сайт, но нигде не могу найти подводные...
• Как улучшить индексацию ИМ и влияет ли вложенность URL на обход страниц роботом?
Влияет ли структура каталога на индексацию страниц? Прошло 2 месяца с момента запуска ИМ, а проиндексировалось менее 10% страниц. Знаю, что чем меньше вложенность, тем...
• Как повлияет на продвижение увеличение количества карточек товаров на странице пагинации?
На странице пагинации сайта выводится по 10 карточек товара. Будет ли полезно для продвижения увеличить их количество? И каким способом это лучше сделать? Ответ Здесь...
• Поможет ли Cloudflare скрыть PBN-сети?
При создании своей PBN-сети важно не спалить ее перед поисковиками. Чтобы этого избежать, возникает мысль каждый сайт располагать на отдельном хостинге. Но это выливается в...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)