Ответ
Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения.
Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы.
Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу.
Что касается второго вопроса:
В отчет «Статистика обхода» будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html
А в отчете «Страницы в поиске» находятся страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html
Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как может повлиять на ранжирование наличие 404 ошибок? Заметил в логах много обращений к: apple-touch-icon.png apple-touch-icon-120x120-precomposed.png apple-touch-icon-120x120.png Этих файлов на сайте нет. Это ерунда, понятно, что можно просто сгенерировать файлы и забыть. Вопрос...
- Что делать с большим количеством 404 страниц? На постоянно меняющейся структуре большого магазина, при обмене данных, возникает большое кол-во 404 (битых ссылок). Нужно ли обращать внимание на такие страницы — делать 301...
- Что делать с внешними ссылками, ведущими на страницы 404? Что делать с внешними ссылками, ведущими на страницы 404? Допустим, у нас был ранее товар, на который активно ссылались, товар более не продается, но ссылки...
- Насколько битые ссылки портят выдачу для сайта? Вопрос очень поверхностный и общий но все же: насколько битые ссылки портят выдачу для сайта? У меня полу-новостник с журналом и с кучей 404ых. Нужно...
- Ошибка ли, если URL страницы сайта без слеша не редиректит на страницу со слешем, а отдаёт 404 код? Является ли ошибкой тот факт, что внутренняя страница интернет магазина без слеша, вида site.ru/catalog/category1 не редиректит на страницу со слешем site.ru/catalog/category1/ а отдаёт ошибку 404....
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Получили +15-20 к ВЧ-запросам в Яндексе"
Денис Нарижный
Komputernaya.ru"Здесь можно реанимировать сайт даже со страшным диагнозом"
Денис Кушнир
Aden-stroy.ru"Изменения положительно отразились на позициях сайта"
Павел Любимов
Jazztour.ru


