Почему страницы индексируются, несмотря на блокировку в файле robots.txt?

В GSC у части страниц статус «Проиндексировано, несмотря на блокировку в файле robots.txt». Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как проверить не мешает ли прелоадер индексированию страниц сайта?

На сайте есть preloader, который действует, пока контент страницы полностью не загрузится. Вопросы в связи с этим: как вообще поисковики реагируют на такие прелоадеры? Как...

Как массово загонять покупные ссылки в индекс и как ускорить процесс?

Как массово загонять покупные ссылки в индекс? Проиндексировать нужно около 1000 линков и вручную получится очень долго. Можно автоматизировать процесс? Ответ Массовая индексация бэклинков с...

Влияет ли рекламный трафик на индексирование и ранжирование?

Может ли реклама в соц. сетях или в Я.Директе улучшить индексацию сайта? И есть ли влияние просто на ранжирование страниц, на которые мы закупаем рекламу?...

Как сделать анализ индексации крупного информационного сайта?

Как сделать анализ индексации информационного сайта на (350к страниц). Сайт старый, есть статьи от 2010 года, а также страницы с припиской .html. Какой алгоритм проведения...

Как удалить из индекса Google ненужные страницы?

Как можно удалить из индекса ненужные там страницы? Речь про Google, попали в индекс страницы пагинации и страницы сортировки. Ответ В первую очередь про страницы...