Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Ускорит ли индексацию создание отдельного sitemap для обновленных страниц на сайте?

Есть сайт, довольно большой (около 5000 страниц). На сайте обновили часть контента (35% от общего количества примерно). Для того чтобы эти страницы быстрее проиндексировались нужно...

Какие есть способы закрытия ссылки от поисковиков?

Какие сейчас есть способы закрытия ссылки от поисковиков? Есть ли смысл закрывать через AJAX И JS? Ответ AJAX И JS на сегодня действительно реальный и...

Как обеспечить индексацию всех языковых версий сайта?

Что сделать, чтобы поисковый бот проиндексировал все языковые версии? Как обеспечить корректную и полную индексацию всех версий сайта? Ответ Современные алгоритмы поисковых систем позволяют качественно...

Что значит отсутствие в Google Search Console информации о ссылках на сайт?

Если есть страница (и не одна) со ссылкой на сайт, она точно в индексе. Проверяю и по оператору и цитатном поиском. Но её не видно...

Как поисковики обрабатывают скрытое меню и тексты?

Нормально ли боты ПС переходят по выпадающему списку "select". Как боты обрабатывают скрытые ссылки в табах? Такая реализация планируется на мобильных устройствах, на десктопе будет...