Ответ
Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения.
Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы.
Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу.
Что касается второго вопроса:
В отчет «Статистика обхода» будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html
А в отчете «Страницы в поиске» находятся страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html
Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Почему в Яндексе возникает «ложная ошибка 404» и как это проверить? При просмотре отчета в Яндекс.Вебмастер "Индексирование => Статистика обхода" инструмент показывает, что есть страница, которая отдаёт 404 код, по факту страница доступна и отдаёт 200...
- Как остановить сканирование несуществующих url и почему это происходит? Консоль массово сканирует urlы, которых не существует: добавляет уже существующий раздел на сайте дополнительно в url (например, /news/blog/chpu/), естественно, они отдают 404, и позиции на...
- Что делать с большим количеством 404 страниц? На постоянно меняющейся структуре большого магазина, при обмене данных, возникает большое кол-во 404 (битых ссылок). Нужно ли обращать внимание на такие страницы — делать 301...
- Что делать с товаром, которого нет в наличии, чтобы не плодить кучу 404 страниц? Подскажите, пожалуйста, есть магазин товаров по скупке и продаже товаров. В нем по типу авито добавляются товары, и удаляются по мере того как продаются. Насколько...
- Ссылки с доноров с низким DR на 404 страницы сайта — что с ними делать? Анализирую ссылочный профиль клиента. Нашел доноры с низким DR. При более детальном анализе обнаружил, что эти ссылки еще и 404. То есть, на доноре размещена...
o.titarenko@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Наконец сайт тронулся с места"
Илья Приходько
Patent-rus.ru"Наблюдаем стремительный и уверенный рост трафика"
Пилицын Василий Сергеевич
Seatscan.ru"Ощутимый рост позиций после второго апа"
Абрамов Дмитрий Сергеевич
Dvermezhkom-service.ru