Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Почему в Google не индексируется новый сайт?

Выкатили сайт, но он не индексируется в Google уже почти три месяца. В индексе две страницы, GSC пишет: исключено 61 страница, ошибка “Обнаружена, не проиндексирована”....

Как время ответа сервера (TTFB) влияет на индексацию Google?

Интернет-магазин строительных товаров, сделан по типу каталожки, очень много категорий. Однако, у сайта есть проблема - время ответа сервера (TTFB) чуть ли не 2 секунды,...

“Страница обнаружена, но не проиндексирована” — как решить проблему?

Как бороться с загадочным "обнаружена, не проиндексирована"? Ответ Сообщение “Страница обнаружена, но не проиндексирована” говорит о том, что ссылка на страницу обнаружена, но пока что...

Почему Google bot видит страницу пустой и как исправить ситуацию?

Почему Google bot может видеть страницу пустой? Что проверять в данном случае и как исправлять ситуацию? Ответ Если Googlebot видит страницу пустой, это может быть...

Как улучшить индексацию страниц фильтров в ИМ?

Есть интернет-магазин, фильтрация каталогов которого сейчас производится при помощи get-параметров, например site.com/catalog.html?brand=1¶m=1, закрытых от индексации через meta robots. Насколько верным будет внедрение функционала автоматического построения...