Ответ
Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.
Чтобы этого избежать и убрать ошибку в консоли, нужно:
- проверить sitemap на наличие мусорных URL;
- проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
- настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.
Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.
Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как ускорить удаление битых ссылок из индекса при массовой смене URLов на сайте? Сделали новый сайт интернет-магазину, на сайте десятки тысяч страниц. Позиций и трафика не было, поэтому терять нечего. У товаров сменились URLы и теперь в поиске...
- Как помочь Google быстро индексировать новости? Как помочь Google очень быстро индексировать страницы? Сайт — новостник, публикуем новости, но ПС индексирует их с опозданием на день или на два, когда новость...
- Какие причины попадания страниц старого сайта в индекс после переезда на другой домен? Когда-то у сайта был переезд с одного домена на другой, но я обнаружил, что через команду site: показывается много страниц в индексе со старого сайта....
- Как замедлить скорость сканирования Googlebot? Как избежать проблем при переносе сайта на другой сервер? Подскажите, пожалуйста, есть ли какой-то метод вынудить google бота cканировать медленнее? Сrawl-rate в консоли я поставил маленький совсем, в robots лишнее закрыто. Бот все равно...
- Как поисковики обрабатывают скрытое меню и тексты? Нормально ли боты ПС переходят по выпадающему списку "select". Как боты обрабатывают скрытые ссылки в табах? Такая реализация планируется на мобильных устройствах, на десктопе будет...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Не ожидал получить настолько качественный анализ и советы за минимальную цену"
Дмитрий Сокол
Hostings.info"Ощутимый рост позиций после второго апа"
Абрамов Дмитрий Сергеевич
Dvermezhkom-service.ru"Работы на 100%. Очень рекомендую"
Емельянов Данил Юрьевич
Tortoliano.ru