Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Почему статья спустя время может перестать индексироваться в Google?

Почему статья спустя время может перестать индексироваться? Часть статей вылетела из Google, при этом статьи перестали считаться уникальными, сервисы проверки уникальности показывают статьи, которые вышли...

Как ускорить индексацию новостного сайта в Google?

Можно сказать Google, что сайт новостник, и что индексировать страницы необходимо очень быстро? Публикуем новости, но ПС индексирует их с опозданием на день или на...

Как исключить индексацию страниц и достаточно ли прописать rel nofollow?

Подскажите, достаточно ли прописать rel nofollow ссылкам фильтра товара, чтобы ПС отстал от них или их нужно совсем как-то скрывать чтобы их не было в...

Почему Google bot видит страницу пустой и как исправить ситуацию?

Почему Google bot может видеть страницу пустой? Что проверять в данном случае и как исправлять ситуацию? Ответ Если Googlebot видит страницу пустой, это может быть...

Как замедлить скорость сканирования Googlebot? Как избежать проблем при переносе сайта на другой сервер?

Подскажите, пожалуйста, есть ли какой-то метод вынудить google бота cканировать медленнее? Сrawl-rate в консоли я поставил маленький совсем, в robots лишнее закрыто. Бот все равно...