Почему робот Яндекса может повторно обходить 404 страницы?

Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404, при этом ссылок на них на сайте нет. И второй вопрос: правильно я понимаю, что сначала робот обходит страницы и мы видим это в отчете «Статистика обход», а затем определяет что с ними делать — добавить в индекс или исключить и мы видим это в отчете «Страницы в поиске»?

Ответ

Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения.

Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы.

Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу.

Что касается второго вопроса:

В отчет «Статистика обхода» будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html

А в отчете «Страницы в поиске» находятся страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html

Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как поступить, если нет возможности удалить битые ссылки вручную?

При наличии битых ссылок на сайте (возможности убрать вручную нет - шаблон ), что лучше: 1️⃣ Закрыть путь в файле robots.txt командой Disallow 2️⃣ Применить...

Как узнать попали ли в индекс страницы с 404 ошибкой и как их удалить с сайта?

Краулер выдал список страниц с 404 ошибкой. Возникли следующие вопросы: как я могу узнать попали они в индекс или нет? Как правильно удалить их с...

Что занчит, если URL возвращает ложную ошибку 404 и как с этим бороться?

Подскажите, как бороться с ошибками в GSC "Отправленный URL возвращает ложную ошибку 404"? Не всегда эти страницы с 404 ошибкой, но робот почему-то их не...

Как правильнее восстановить удаленный раздел на сайте с новыми URL?

Подскажите, как правильнее: удалили раздел. Код 404. Восстанавливаем раздел, даем роботу погулять на нем, потом 301 редирект ставим на переименованный? Или сразу ставим редирект, контент...

Что делать с товаром, которого нет в наличии, чтобы не плодить кучу 404 страниц?

Подскажите, пожалуйста, есть магазин товаров по скупке и продаже товаров. В нем по типу авито добавляются товары, и удаляются по мере того как продаются. Насколько...

Ольга С.

SEO-аналитик

Работала в рекламе, занималась копирайтингом.

Дожила до своих лет, предсказала будущее, вывела в ТОП сайт ветеринарной клиники.

Сейчас помогаю развивать клиентские проекты в SiteClinic.

Девиз: Рано или поздно это придется сделать, поэтому лучше рано.

o.titarenko@siteclinic.ru

Оцените мою статью: