Анализируем логи nginx по ответам, которые получают поисковые боты Google и Яндекса. Боты Google видят страницы с 404 ответом. Проверили сайт всеми возможными парсерами. Парсеры не видят ссылки на 404 станицы. В коде также нет ссылок на страницы с 404 ответами, которые видят боты Google. Как найти ссылки на страницы с 404 ошибками, которые видит Google?
Ответ
Битые ссылки могут быть как следствием неправильной настройки CMS, так и результатом человеческих ошибок.
- Товар снят с продажи или закончился на складе.
- Адрес страницы изменился и не был настроен 301 редирект.
- Пользователь ошибочно скопировал ссылку на страницу.
- Удален медиа-файл (изображение, видео) не проверив, есть на него ссылки или нет.
Почему в log-файлах находятся битые страницы:
- На момент сканирования сайта страницы отдавали 404-тую ошибку, поэтому попади в log как битые.
- Проблемные страницы отвечают 404-той ошибкой только для роботов Google и Яндекс.
Как найти битые страницы, которые видит Google:
- Используя User-agent Google (из log-записей), просканируйте сайт парсером.
- Кроме, User-agent стоит максимально снять ограничения из парсинга.
В целом 404-страницы периодически проверяются поисковыми системами на работоспособность, но со временем 404-тые удаляются из базы поисковых систем.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Подписаться на рассылку
Еще по теме:
- Как повлияет на продвижение, если определенный уровень вложенности при формировании url отдает 404? Структура региональности реализована через подпапки. Например: site.com/state/texas site.com/state/california Но, при этом, промежуточная вложенность site.com/state отдает 404 код. Может ли негативно сказаться, если определенный уровень вложенности...
- Какой вариант вывода 404 ошибки будет правильным? Как лучше сделать вывод 404 ошибки: редиректом на страницу ошибки (error/404/) или по адресу несуществующей страницы показывать 404? Есть отличия между этими вариантами? И какие?...
- Что делать со страницей акции, когда она становится неактуальной? На сайте периодически публикуются различные конкурсы, акции и т.д., которые ограничены по времени (условно неделя, месяц...). Что делать со страницей акции, когда она становится неактуальной?...
- Как раз и навсегда удалить страницу из выдачи в Google? Как раз и навсегда удалить страницу из ПС в Google? 404 отдает, но более месяца страница в ПС. Ответ Такая ситуация может возникнуть, если на...
- Почему робот Яндекса может повторно обходить 404 страницы? Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404, при этом ссылок на них на сайте нет. И второй вопрос: правильно я понимаю,...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Работы на 100%. Очень рекомендую"
Емельянов Данил Юрьевич
Tortoliano.ru"Ответы, которые реально помогли в работе"
Анатолий
Photoboom.ua"Повторным аудитом остались довольны на все 100%"
Дмитрий Сокол
Hostings.info


