Ответ
Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами. Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].
Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.
Чтобы исправить ошибку, нужно выполнить следующие действия:
- Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.
- Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt.
- Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.
- Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Подскажите сервис по массовому переобходу страниц в Google Подскажите сервис по массовому переобходу страниц в Google или как ещё можно значительно увеличить число квоты на обход в день? Может ли помочь простановка внешних...
- Как можно измерять спамнось доменов доноров? Как можно измерять спамнось площадок, на которых планируем размещаться. Или проверить насколько много ссылок они продают. Ответ Спамность донора можно проверить используя инструменты и сервисы...
- Можно ли убирать редирект после склейки доменов? Правильно ведь я понимаю, что когда ПС подклеили домен, я могу уже убрать редирект и вообще от домена старого избавляться? Эффект сохранится от подклейки? Или...
- Специальные атрибуты для элементов пагинации Scema.org говорит, что можно дать специальные атрибуты для пагинации https://schema.org/pagination Внедряли такие атрибуты и как именно? Какие еще атрибуты пагинации актуальны на сегодняшний день и...
- Как поступать с часто отключаемыми страницами товаров и запросами от ботов на несуществующие страницы сайта? Есть достаточно посещаемый ecommerce-сайт. В настоящее время, на сайте из-за большого количества часто отключаемых страниц товаров, для всех страниц настроен 301 редирект на главную. В...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Здесь можно реанимировать сайт даже со страшным диагнозом"
Денис Кушнир
Aden-stroy.ru"Ответы, которые реально помогли в работе"
Анатолий
Photoboom.ua"Повторным аудитом остались довольны на все 100%"
Дмитрий Сокол
Hostings.info