Ответ
Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами. Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].
Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.
Чтобы исправить ошибку, нужно выполнить следующие действия:
- Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.
- Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt.
- Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.
- Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как оптимизировать страницы под голосовой поиск Как и где искать длинные ключи из голосового поиска? Как еще оптимизировать страницы под голосовой поиск? Ответ Как искать клячевые слова: Ключи голосового поиска чаще...
- Что делать, если в отчёте GSC мало страниц оптимизированных под мобильные устройства? Стоит ли паниковать, если в отчёте GSC крайне малое количество страниц, оптимизированных под мобильные устройства. Но все страницы на сайте оптимизированы под мобайлы. Ответ В...
- Нужно ли удалять ссылки с протоколами «tel:» и «mailto»? Как вы считаете, стоит ли убирать теги ‹a href= "mailto, ‹a href= "tel: с телефонов на сайте? Когда-то прочитал, что вес сайта через эти ссылки...
- Одинаковые ли требования Google к авторитетности авторов для инфо и коммерческих сайтов? Одинаковые ли требования к авторитетности авторов и трастовости ресурса для разных типов сайтов (инфо и коммерция) у Google? Например, ИМ по продаже лекарственных трав (вроде...
- Как в Яндексе правильно настроить мультиязычность сайта и какие могут возникнуть проблемы? На сайте имеется два варианта главной страницы - англоязычная по адресу site.com и русскоязычная по адресу site.com/ru. Настроен 307 редирект, перенаправляющий пользователя на тот или...
dariya@siteclinic.ru
Оцените мою статью:
(2 оценок, среднее: 5,00 из 5)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Изменения положительно отразились на позициях сайта"
Павел Любимов
Jazztour.ru"Рекомендации индивидуальны, с примерами наших страниц и разделов"
София Хаушильдт
Babyplan.ru"Мы увидели рост по целому пулу запросов"
Деревянко П.Н.
Expertology.ru