Почему бот переобходит 404 страницы без активных ссылок и надо ли при этом анализировать логи?

Ответ

Анализ логов действительно полезная вещь, однако навряд ли поможет решить вашу проблему. Это нормально, когда Google продолжает переобходить страницы с 404 кодом ответа сервера. К сожалению такое может продолжаться очень долгое время, порой и несколько лет.

Почему бот посещает 404-страницы?

1️⃣ Старая карта сайта: в sitemap.xml часто могут сохраняться ссылки на URL, которые возвращают 404 ответ сервера. Поисковые роботы, сканируя карту сайта, продолжают заходить и на них, проверяя актуальность страниц.

2️⃣ Внешние ссылки: даже после удаления страниц с вашего сайта, ссылки на них могут сохраняться на других сайтах, в социальных сетях и даже в электронных письмах. Поисковые роботы, сканируя внешние ресурсы, переходят во всем ссылкам, в том числе и тем, что размещены на ваш сайт.

3️⃣ Индексирование: с точки зрения алгоритмов Google, код ответа 404 может быть вызван временной ошибкой. Страницы, ранее находившиеся в поисковом индексе, периодически перепроверяются ботами для подтверждения их статуса. Если в какой-то момент сервер вернёт код 200 OK вместо 404, поисковая система обновит информацию о странице в своём индексе.

Частота этих проверок обычно снижается со временем, если страницы продолжают возвращать 404 код ответа сервера.

Чтобы сократить количество посещений страниц с 404 кодом рекомендуется:

• Настроить 301 редиректы для всех важных страниц, у которых 404. Это сохранит SEO-вес и даст понимание роботу о статусе страницы.
• Проверить и при необходимости исправить карту сайта, удалив из неё ссылки на несуществующие страницы.
• Если на страницы ведут внешние ссылки, то попробовать через вебмастеров заменить URL на актуальный или настроить тот же 301 редирект.
• Настроить вместо 404 кода 410 — он указывает, что целевая страница была окончательно удалена и больше недоступна на сервере. На такие страницы бот будет заходить значительно реже и быстрее удалит ее из индекса.

Анализ логов является важной частью при техническом аудите сайта. Логи позволяют:

• Обнаруживать попытки взлома и подозрительную активность.
• Выявлять проблемы с производительностью, включая медленно загружающиеся страницы или ресурсы, а также чрезмерно частые запросы.
• Вовремя выявлять технические проблемы с серверами, базами данных или интеграциями с внешними сервисами.
• Определять наиболее посещаемые ботами страницы. С точки зрения SEO это полезно, так как можно найти страницы, на которых лучше всего размещать ссылки на новые страницы или те, что плохо индексируются.
• Если на сайте есть проблемы с индексацией, то таким образом можно определить «доходит» ли бот до нужных страниц при сканировании или краулинговый бюджет расходуется на что-то иное.
• Обнаруживать мусорные страницы, которые при парсинге не находятся.

Еще по теме:

• Как и чем анализировать логи сайта?
Как и чем анализировать логи сайта? Только начинаю свой путь в этом направлении, поэтому интересно как и в чём анализ логов может помочь SEOшнику? Ответ...
• Как узнать как гуляет google бот по сайту
Хочу узнать как гуляет google бот по сайту. Как узнать как часто google бот посещал раздел сайта и его страницы? Ответ Самый достоверный способ узнать...

---

Анастасия Е.

anastasiia.y@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)