Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как ускорить индексацию молодого сайта в Google?

Есть мнение, что Google не сильно торопится индексировать новые сайты. Правда ли это и как можно быстро скормить новенький ИМ Google? Какие действия помогут? Ответ...

Как помочь Google быстро индексировать новости?

Как помочь Google очень быстро индексировать страницы? Сайт — новостник, публикуем новости, но ПС индексирует их с опозданием на день или на два, когда новость...

Как удалить индексацию страницы в Google?

Подскажите, как удалить индексацию страницы в Google, чтобы Google не выдавал ссылку на эту страницу при наборе запроса в поисковике? Ответ Чтобы удалить страницы с...

Как отменить запрос на удаление страницы из индекса?

Если случайно отправили запросы на удаление из индекса нужных страниц через Google Search Console, что сделать чтобы они не вылетели из индекса? Запросы отправлены, но...

Когда использовать 302 редирект и каково его влияние на индексирование?

Сколько в выдаче держится ссылка с 302-м редиректом? В каких случаях стоит настраивать 302 ответ сервера? Как может повлиять наличие большого количества таких редиректов (около...