Ответ
Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения.
Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы.
Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу.
Что касается второго вопроса:
В отчет «Статистика обхода» будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html
А в отчете «Страницы в поиске» находятся страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html
Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Что делать с исходящими некачественными ссылками и ссылками на несуществующие страницы? На сайте много исходящих ссылок, которые ведут на 404 страницы. Ещё есть ссылки с комментариев, не совсем качественные, но закрытые nofollow. Подскажите, что делать с...
- Ошибка ли, если URL страницы сайта без слеша не редиректит на страницу со слешем, а отдаёт 404 код? Является ли ошибкой тот факт, что внутренняя страница интернет магазина без слеша, вида site.ru/catalog/category1 не редиректит на страницу со слешем site.ru/catalog/category1/ а отдаёт ошибку 404....
- Как повлияет удаление 4 тыс. страниц с неуникальным контентом? Есть сайт с 4 тыс. статьями неуникального контента. Решили все статьи удалить и сделать 40 оптимизированных страниц. Как посмотрят поисковики на резкое падение числа страниц...
- Какой вариант вывода 404 ошибки будет правильным? Как лучше сделать вывод 404 ошибки: редиректом на страницу ошибки (error/404/) или по адресу несуществующей страницы показывать 404? Есть отличия между этими вариантами? И какие?...
- Как узнать попали ли в индекс страницы с 404 ошибкой и как их удалить с сайта? Краулер выдал список страниц с 404 ошибкой. Возникли следующие вопросы: как я могу узнать попали они в индекс или нет? Как правильно удалить их с...
o.titarenko@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Наблюдаем стремительный и уверенный рост трафика"
Пилицын Василий Сергеевич
Seatscan.ru"Помогли моему сайту выйти из-под фильтра Яндекса"
Ольга Куракина
Dogscat.com"Мы увидели рост по целому пулу запросов"
Деревянко П.Н.
Expertology.ru