Почему робот Яндекса может повторно обходить 404 страницы?

Ответ

Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения.

Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы.

Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу.

Что касается второго вопроса:

В отчет «Статистика обхода» будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html

А в отчете «Страницы в поиске» находятся страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html

Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.

Еще по теме:

• Если Google Search Consol показывает ошибку 404, по xml ссылкам, которых нет — что это может быть и в чем опасность?
Абсолютно левые .xml ссылки показывает search.google как "Не найдено (404)". Таких файлов физически нет на сайте в данной папке. Что это может быть? Опасны ли...
• Какой вариант вывода 404 ошибки будет правильным?
Как лучше сделать вывод 404 ошибки: редиректом на страницу ошибки (error/404/) или по адресу несуществующей страницы показывать 404? Есть отличия между этими вариантами? И какие?...
• Что делать с товаром, которого нет в наличии, чтобы не плодить кучу 404 страниц?
Подскажите, пожалуйста, есть магазин товаров по скупке и продаже товаров. В нем по типу авито добавляются товары, и удаляются по мере того как продаются. Насколько...
• Каким сервисом можно проверять не появились ли битые ссылки на страницах?
Посоветуйте инструмент, который может ходить периодически по списку URL и пробивать все внутренние/внешние ссылки - не появились ли битые ссылки на страницах? Ответ По сути,...
• Насколько битые ссылки портят выдачу для сайта?
Вопрос очень поверхностный и общий но все же: насколько битые ссылки портят выдачу для сайта? У меня полу-новостник с журналом и с кучей 404ых. Нужно...

---

Ольга С.

SEO-аналитик

Работала в рекламе, занималась копирайтингом.

Дожила до своих лет, предсказала будущее, вывела в ТОП сайт ветеринарной клиники.

Сейчас помогаю развивать клиентские проекты в SiteClinic.

Девиз: Рано или поздно это придется сделать, поэтому лучше рано.

o.titarenko@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)