Почему робот Яндекса может повторно обходить 404 страницы?

Ответ

Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения.

Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы.

Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу.

Что касается второго вопроса:

В отчет «Статистика обхода» будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html

А в отчете «Страницы в поиске» находятся страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html

Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.

Еще по теме:

• Как найти ссылки на страницы с 404 ошибками, которые видит Google?
Анализируем логи nginx по ответам, которые получают поисковые боты Google и Яндекса. Боты Google видят страницы с 404 ответом. Проверили сайт всеми возможными парсерами. Парсеры...
• Как правильно удалить из индекса множество ошибочных URL?
Нужно как-то удалить url 25000+(тысяч). В целом, удалить, то не проблема, главное, чтобы для поисковиков было ОК. Эти урлы были созданы по ошибке. То есть,...
• Как повлияет на продвижение, если определенный уровень вложенности при формировании url отдает 404?
Структура региональности реализована через подпапки. Например: site.com/state/texas site.com/state/california Но, при этом, промежуточная вложенность site.com/state отдает 404 код. Может ли негативно сказаться, если определенный уровень вложенности...
• Восстанавливать удаленные страницы или создавать новые?
На сайте ранее было удалено множество страниц и по этим URL отдавалась 404 ошибка длительное время. Сейчас есть желание вернуть страницы с этим контентом (доработав...
• Насколько битые ссылки портят выдачу для сайта?
Вопрос очень поверхностный и общий но все же: насколько битые ссылки портят выдачу для сайта? У меня полу-новостник с журналом и с кучей 404ых. Нужно...

---

Ольга С.

SEO-аналитик

Работала в рекламе, занималась копирайтингом.

Дожила до своих лет, предсказала будущее, вывела в ТОП сайт ветеринарной клиники.

Сейчас помогаю развивать клиентские проекты в SiteClinic.

Девиз: Рано или поздно это придется сделать, поэтому лучше рано.

o.titarenko@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)