Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как быстро проверить индексацию купленных ссылок?

Как быстро проверить индексацию купленных ссылок? И насколько крауд ссылки помогут проиндексировать покупную статью с ссылкой? Ответ Есть несколько способов проверить индексацию купленных ссылок. Достоверно...

Когда открывать сайт к индексации и достаточно ли шаблонной оптимизации?

Как лучше заливать большой ИМ в индекс: сразу 50К страниц или лучше постепенно по отдельным категориям? И достаточно ли шаблонной оптимизации для начала или лучше...

Что делать, если проиндексировался тестовый домен с дублями страниц сайта?

Сайт попал в индекс Яндекса, он ещё дорабатывается и наполнен на 80% + он на рабочем (тестовом) домене. Чем может быть чревата такая ситуация при...

Каким должно быть оптимальное количество внутренних ссылок на странице?

Есть ли рекомендация насчёт количества внутренних ссылок на странице? Читала, что не рекомендуется больше 100 внутренних ссылок. Однако, есть примеры, уверенно занимающие места в ТОП-10,...

Какие причины попадания страниц старого сайта в индекс после переезда на другой домен?

Когда-то у сайта был переезд с одного домена на другой, но я обнаружил, что через команду site: показывается много страниц в индексе со старого сайта....