Ответ
С помощью robots.txt вы можете управлять сканированием своего сайта, но не индексированием. То есть составить маршрут, по которому будет следовать поисковый робот и указать страницы и разделы, на которые роботу заходить не стоит.
Да, директивы в robots.txt — это всего лишь рекомендации для роботов ПС, но ошибка: «Проиндексировано, несмотря на блокировку в файле robots.txt» чаще всего возникает из-за того, что на такие страницы ведут внешние ссылки с других сайтов или внутренние ссылки с вашего. Подробно про то, как исправить эту ошибку мы рассказывали тут.
Крупные сайта добавляют так много правил в файл robots.txt для того, чтобы оптимизировать краулинговый бюджет сайта и повысить вероятность обхода нужных и полезных страниц.
Метатег ‹meta name=»robots» content=»noindex»› позволяет управлять индексированием сайта, то есть даже если робот обнаружит страницу, он не добавит ее в индекс ПС. Но чаще всего при запуске сайта технические или служебные страницы, которые нам не нужны, проще закрыть через robots.txt прописав там пару строчек.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Правда ли, что старые покупные ссылки работают хуже, чем новые? Правда ли, что с возрастом ссылки работают хуже, чем новые? Можно ли покупать ссылки на тех же доменах, на которых ранее уже размещались? Насколько такие...
- Открывать ли к индексации сайт на стадии разработки? После покупки домена, начинается процесс создания, настройки и наполнения сайта. Вопрос: на домен после покупки нужно поставить заглушку и закрыть от индексации, пока сайт не...
- Как можно отследить ранжирование сайта по информационным запросам? Вы как-то отслеживаете ранжируется ли ваш коммерческий сайт по инфо-запросам или нет? Нужно ли по всем статьям позиции отслеживать, если как минимум 1-3 статьи в...
- ТЗ на статью для копирайтера: какие пункты обязательны и можно ли использовать онлайн генераторы при составлении Можно ли использовать генераторы для составления ТЗ для копирайтеров? Какие основные пункты обязательно должны быть в ТЗ? Чем отличаются ТЗ для текстов на сторонние площадки...
- Как повлияет на позиции сайта его полная переоптимизация и как быстро переиндексируются все изменения? Есть сайт, создан недавно, почти год назад, занимались им не долго, наполнили контентом, понаблюдали месяц. После вынуждены были оставить, сайт рабочий, но заброшенный. Хотя, по...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Изменения положительно отразились на позициях сайта"
Павел Любимов
Jazztour.ru"Через 1,5 месяца позиции вернулись в ТОП 10"
Евтеев Антон Павлович
Ac-u.ru"Прекрасно проработанный аудит"
Денис
Eвроавто.рф