Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как можно ускорить индексацию или переиндексацию страниц в Google?

Раньше я вручную отправлял каждую ссылку на переиндексацию после того как обновил контент. Как сейчас быть (Вопрос про Google, в связи с отключением инструмента для...

«Страница проиндексирована, но ее нет в файле Sitemap» — насколько критична эта ошибка?

Search Console пишет, что URL категории находится в индексе, но его нет в файле sitemap. В то же время файл sitemap обновляется каждый день и...

Влияют ли иконки контактов, карт и другие на ранжирование сайта?

Должны ли индексироваться иконки контактов, карты и др. вспомогательные иконки на сайте? Разрабатываю сайт, и есть выбор: вставить иконки картинками — тогда поисковик будет знать,...

Как сделать анализ индексации крупного информационного сайта?

Как сделать анализ индексации информационного сайта на (350к страниц). Сайт старый, есть статьи от 2010 года, а также страницы с припиской .html. Какой алгоритм проведения...

Как переиндексировать около 1 миллиона страниц в Google?

Есть ли сравнительно недорогой метод, чтобы вынудить googlebot переиндексировать около 1 миллиона страниц? А то по ошибке при редизайне новые шаблоны с кривым иннер линкингом...