Ответ
Страницы с 404-тым кодом действительно могут обходиться поисковыми роботами еще несколько раз после первого обнаружения.
Чтобы удалить страницу полностью из индекса рекомендуется настроить 410 код ответа. Он указывает поисковым роботам, что страница навсегда удалена. А 404 ответ может восприниматься как временная ошибка, поэтому робот возвращается проверить состояние страницы.
Также 404-тая страница может быть в sitemap, и это может достаточным основанием для робота продолжать сканировать страницу.
Что касается второго вопроса:
В отчет «Статистика обхода» будут все страницы сайта которые обошел робот, при условии, что на момент обхода они были доступны. Подробнее: https://yandex.ru/support/webmaster/service/site-indexing.html
А в отчете «Страницы в поиске» находятся страницы сайта, которые участвуют в поиске Яндекса. При этом там отображается как информация о добавленных (новых) страницах, так и данные о страницах, которые были из поиска исключены. Подробнее: https://yandex.ru/support/webmaster/service/searchable.html
Если возникнут сложности с обнаружением источников 404-тых страниц, то напишите нам и мы поможем.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- По каким причинам робот видит 404 ответ сервера на странице? На сайте есть странная ситуация, при которой страница для пользователя доступна, но робот видит ответ сервера 404. В коде страницы нет ничего такого, чтобы не...
- Восстанавливать удаленные страницы или создавать новые? На сайте ранее было удалено множество страниц и по этим URL отдавалась 404 ошибка длительное время. Сейчас есть желание вернуть страницы с этим контентом (доработав...
- Битые ссылки 404: как они влияют на ранжирование сайта, как найти их и исправить Какие санкции от ПС могут быть, если на сайт ведёт много битых ссылок? Настроили так, что все, кто переходит по такой ссылке, попадают на заглушку...
- Ссылки с доноров с низким DR на 404 страницы сайта — что с ними делать? Анализирую ссылочный профиль клиента. Нашел доноры с низким DR. При более детальном анализе обнаружил, что эти ссылки еще и 404. То есть, на доноре размещена...
- Что делать с большим количеством 404 страниц? На постоянно меняющейся структуре большого магазина, при обмене данных, возникает большое кол-во 404 (битых ссылок). Нужно ли обращать внимание на такие страницы — делать 301...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Поисковик вернул сайту «отобранных» ранее посетителей"
Александр Люкс
English-easy.info"Повторным аудитом остались довольны на все 100%"
Дмитрий Сокол
Hostings.info"Не ожидал получить настолько качественный анализ и советы за минимальную цену"
Дмитрий Сокол
Hostings.info