Анализируем логи nginx по ответам, которые получают поисковые боты Google и Яндекса. Боты Google видят страницы с 404 ответом. Проверили сайт всеми возможными парсерами. Парсеры не видят ссылки на 404 станицы. В коде также нет ссылок на страницы с 404 ответами, которые видят боты Google. Как найти ссылки на страницы с 404 ошибками, которые видит Google?
Ответ
Битые ссылки могут быть как следствием неправильной настройки CMS, так и результатом человеческих ошибок.
- Товар снят с продажи или закончился на складе.
- Адрес страницы изменился и не был настроен 301 редирект.
- Пользователь ошибочно скопировал ссылку на страницу.
- Удален медиа-файл (изображение, видео) не проверив, есть на него ссылки или нет.
Почему в log-файлах находятся битые страницы:
- На момент сканирования сайта страницы отдавали 404-тую ошибку, поэтому попади в log как битые.
- Проблемные страницы отвечают 404-той ошибкой только для роботов Google и Яндекс.
Как найти битые страницы, которые видит Google:
- Используя User-agent Google (из log-записей), просканируйте сайт парсером.
- Кроме, User-agent стоит максимально снять ограничения из парсинга.
В целом 404-страницы периодически проверяются поисковыми системами на работоспособность, но со временем 404-тые удаляются из базы поисковых систем.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Подписаться на рассылку
Еще по теме:
- Почему робот Яндекса может повторно обходить 404 страницы? Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404, при этом ссылок на них на сайте нет. И второй вопрос: правильно я понимаю,...
- Битые ссылки 404: как они влияют на ранжирование сайта, как найти их и исправить Какие санкции от ПС могут быть, если на сайт ведёт много битых ссылок? Настроили так, что все, кто переходит по такой ссылке, попадают на заглушку...
- Как повлияет на продвижение, если определенный уровень вложенности при формировании url отдает 404? Структура региональности реализована через подпапки. Например: site.com/state/texas site.com/state/california Но, при этом, промежуточная вложенность site.com/state отдает 404 код. Может ли негативно сказаться, если определенный уровень вложенности...
- Ошибка ли, если URL страницы сайта без слеша не редиректит на страницу со слешем, а отдаёт 404 код? Является ли ошибкой тот факт, что внутренняя страница интернет магазина без слеша, вида site.ru/catalog/category1 не редиректит на страницу со слешем site.ru/catalog/category1/ а отдаёт ошибку 404....
- Как быть при росте ссылок на 404 страницы? В последнее время на проект появилось много ссылок на 404 страницы. В консоли виден рост 404 страниц в индексе. Подскажите, как действовать в такой ситуации?...
o.titarenko@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Мы увидели рост по целому пулу запросов"
Деревянко П.Н.
Expertology.ru"Наблюдаем стремительный и уверенный рост трафика"
Пилицын Василий Сергеевич
Seatscan.ru"Прекрасно проработанный аудит"
Денис
Eвроавто.рф