Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как вернуть трафик и страницы в индекс, если в robots был случайно закрыт весь раздел блога?

Случайно был закрыт от индексации раздел со статьями (блог) в robots.txt. Как результат: из Google выпал весь раздел блога (все страницы), трафик ощутимо упал. Как...

Помогают ли социальные сети в индексировании контента?

Помогают ли социальные сети - Фейсбук или Твиттер в индексировании контента? Если разместить ссылку на страницу в соц. сети проиндексируется ли она быстрее? Ответ Социальные...

Почему Google не индексирует региональные поддомены и как решить проблему?

Есть сайт с региональными языковыми поддоменами. С индексацией главного сайта проблем нет, но вот страницы поддоменов Google никак не хочет индексировать. Практически все "Просканировано, но...

Нужно ли индексировать js, css файлы и изображения?

У товарища сайт стоматологической клиники. Он зачем-то закрыл от индексации js, css и все изображения. Я считаю, что это критическая ошибка, т.к. бот не сможет...

Как обеспечить индексацию динамического AJAX-контента в модальном окне?

Хочу сделать информацию о проекте в модальном окне. Содержимое окна будет погружаться AJAXом. Как на это среагируют поисковики? Как обеспечить индексирование информации в этих окнах?...