Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Пустые категории сайта: влияние на ранжирование, закрытие от индексации, удаление

На сайте есть пустые категории (довольно много) без карточек товаров. Как лучше поступить? Закрыть их от индексации, или оставить до момента заполнения? Если их закрыть...

“Страница обнаружена, но не проиндексирована” — как решить проблему?

Как бороться с загадочным "обнаружена, не проиндексирована"? Ответ Сообщение “Страница обнаружена, но не проиндексирована” говорит о том, что ссылка на страницу обнаружена, но пока что...

Закрывать ли страницы пагинации в интернет-магазинах в robots или нет?

Что делать со страницами пагинации в интернет магазинах? Закрывать их от индексации в robots или не трогать? Пример: 1. Есть страница категории товара site.сom/category01/ на...

Что делать при неправильной индексации мультиязычных страниц?

Есть главная страница на украинском, и английская версия с адресом /en. В консоли показывается, что эта английская версия не проиндексирована потому что Google выбрал "другую...

Как переиндексировать около 1 миллиона страниц в Google?

Есть ли сравнительно недорогой метод, чтобы вынудить googlebot переиндексировать около 1 миллиона страниц? А то по ошибке при редизайне новые шаблоны с кривым иннер линкингом...