Ответ
Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами. Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].
Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.
Чтобы исправить ошибку, нужно выполнить следующие действия:
- Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.
- Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt.
- Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.
- Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Можно ли подклеивать нетематичный, но жирный дроп к сайту? Могут позиции сайта упасть из-за того, что к сайту подклеили абсолютно нетематичный дроп? Дроп сам по себе хороший, с жирными ссылками, но тематика сайта не...
- Как настроить hreflang и нужно ли это делать для страниц на разных языках? Знаю, что hreflang нужно настраивать, если две страницы на английском для двух разных регионов. Но что, если есть две страницы на русском и английском -...
- Добавлять ли страницы, снятых с производства товаров, если в СЯ есть коммерческие запросы к ним? Есть ли смысл добавлять товары с полной информацией, снятые с производства на сайт бренда, если в СЯ до сих пор мелькают запросы: "название товара +...
- Как проверить, нужен ли шаблонный текст на страницах фильтров? Есть сайт по продаже недвижимости с умным ЧПУ фильтром. Все страницы (их около 10 000) оптимизированы и имеют уникальный заголовок h1 и метатеги. Встал вопрос...
- Как найти самые популярные страницы конкурентов? При анализе конкурентов можно выделить страницы или разделы, которые получают больше всего трафика? И какими сервисами это можно сделать? Ответ Сервиса, который показывал бы 100%...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Повторным аудитом остались довольны на все 100%"
Дмитрий Сокол
Hostings.info"Санкции были сняты. Весь процесс занял полтора месяца"
Сергей Протасов
Svem.ru"Яндекс снял фильтр уже после первой заявки"
Люк Усса
CreditProsto.ru