Почему страницы получают статус «Проиндексировано, несмотря на блокировку в файле robots.txt»?

Ответ

Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска, например если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.

Чтобы этого избежать и убрать ошибку в консоли, нужно:

• проверить sitemap на наличие мусорных URL;
• проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
• настроить блокировку страниц, прописав ‹meta name= «robots» content= «noindex»› в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.

Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.

Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.

Еще по теме:

• «Страница проиндексирована, но ее нет в файле Sitemap» — насколько критична эта ошибка?
Search Console пишет, что URL категории находится в индексе, но его нет в файле sitemap. В то же время файл sitemap обновляется каждый день и...
• Почему уникальные статьи не индексируются ПС?
Почему статьи не индексируются ПС, несмотря на то, что они уникальны на 90-100%? Ответ Зачастую проблемы с индексацией страниц сайта заключаются в недостаточном внимании к...
• Как проверить, доступен ли Google bot основной контент?
При заходе на сайт появляется всплывашка на весь экран с вопросам, например, есть ли 18 лет пользователю. Всплывашка реализована при помощи JS. Вопрос: как проверить,...
• Подскажите сервис по массовому переобходу страниц в Google
Подскажите сервис по массовому переобходу страниц в Google или как ещё можно значительно увеличить число квоты на обход в день? Может ли помочь простановка внешних...
• Какие причины попадания страниц старого сайта в индекс после переезда на другой домен?
Когда-то у сайта был переезд с одного домена на другой, но я обнаружил, что через команду site: показывается много страниц в индексе со старого сайта....

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)