Ответ
Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами. Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].
Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.
Чтобы исправить ошибку, нужно выполнить следующие действия:
- Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.
- Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt.
- Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.
- Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Будут ли санкции от ПС, если скопировать статью с чужого сайта, но указать ссылку на источник? Если я скопирую статью на свой сайт с чужого ресурса, но при этом в Canonical укажу ссылку на этот ресурс, будут ли санкции от ПС?...
- Отклонять спамные и нетематичные ссылки или оставлять их? Лучше отклонять спамные или нетематичные ссылки и после покупать "хорошие" линки? Или можно со старыми "плохими" ссылками ничего не делать и просто начинать закупать качественные...
- Рационально ли размещать ссылки на сайтах вакансий и файлообменниках? У меня есть технический сайт (СТО). Будет ли рациональным размещение ссылок на сайтах с вакансиями, файлообменниках и прочих, которые являются авторитетными, но по тематике не...
- Как правильно удалить старые страницы сайта без трафика? Есть крупный сайт услуг с 300 тыс. страниц. Сайт хорошо ранжируется, быстро индексируется. Но на сайте много страниц без трафика – совсем старые статьи, новости...
- Почему при сканировании сайта находятся страницы с 503-й ошибкой, хотя на самом деле имеют код ответа 200? Краулеры (SiteAnalyzer и ScreamingFrog) при сканировании сайта находят страницы с 503 ошибкой. Сами страницы прекрасно открываются, и в вебмастере и в онлайн сервисах отдают код...
dariya@siteclinic.ru
Оцените мою статью:
(2 оценок, среднее: 5,00 из 5)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Получили ответы на все вопросы"
Павел
Kidride.ru"Наконец сайт тронулся с места"
Илья Приходько
Patent-rus.ru"Сайт выведен из-под фильтра"
Коробов С.А.
Pechimax.ru