Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Что делать, если статья на сайте не индексируется больше месяца?

Вопрос по поводу индексации. Если я разместил статью и гугл ее не проиндексировал уже как полтора месяца. Стоит ли ее удалить и заново выставить? Другие...

Индексируют ли поисковые системы содержимое iframe и как именно?

Индексируют ли поисковые системы содержимое iframe и как именно? Ответ В ряде случаев Google может индексировать содержимое iframe, например, если содержимое iframe является важным для...

Открывать ли к индексации динамические страницы-фильтры?

Будут ли ранжироваться страницы фильтрации (динамические), если внедрить уникальные теги (Н1, Тайтл и Дискрипшн) и закинуть их в индекс? Или все таки закрыть их от...

Что делать, если робот просканировал нерабочий сайт?

Если сайт словил пессимизацию из-за того, что был проиндексирован в нерабочем состоянии, какова вероятность и сколько времени нужно для восстановления позиций в Google? Как помочь...

Почему по запросу site:mysite.ru Google выдает только 4 страницы из 100?

В GSC проиндексированы почти все страницы сайта (около 100), а в самом поиске Google по запросу site:mysite.ru выдает только 4 страницы, а по запросу на...