Почему робот Яндекса может повторно обходить 404 страницы?

Ответ

Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения.

Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы.

Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу.

Что касается второго вопроса:

В отчет «Статистика обхода» будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html

А в отчете «Страницы в поиске» находятся страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html

Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.

Еще по теме:

• Как может повлиять на ранжирование наличие 404 ошибок?
Заметил в логах много обращений к: apple-touch-icon.png apple-touch-icon-120x120-precomposed.png apple-touch-icon-120x120.png Этих файлов на сайте нет. Это ерунда, понятно, что можно просто сгенерировать файлы и забыть. Вопрос...
• Что делать со страницей акции, когда она становится неактуальной?
На сайте периодически публикуются различные конкурсы, акции и т.д., которые ограничены по времени (условно неделя, месяц...). Что делать со страницей акции, когда она становится неактуальной?...
• Сайт отдает 404 ошибку в кэше Google — что делать?
В кэше гугла мой сайт отдает 404 ошибку, при этом сайт рабочий и на него можно перейти. В чем причина такого и может ли это...
• По каким причинам робот видит 404 ответ сервера на странице?
На сайте есть странная ситуация, при которой страница для пользователя доступна, но робот видит ответ сервера 404. В коде страницы нет ничего такого, чтобы не...
• Как раз и навсегда удалить страницу из выдачи в Google?
Как раз и навсегда удалить страницу из ПС в Google? 404 отдает, но более месяца страница в ПС. Ответ Такая ситуация может возникнуть, если на...

---

Ольга С.

SEO-аналитик

Работала в рекламе, занималась копирайтингом.

Дожила до своих лет, предсказала будущее, вывела в ТОП сайт ветеринарной клиники.

Сейчас помогаю развивать клиентские проекты в SiteClinic.

Девиз: Рано или поздно это придется сделать, поэтому лучше рано.

o.titarenko@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)