Анализируем логи nginx по ответам, которые получают поисковые боты Google и Яндекса. Боты Google видят страницы с 404 ответом. Проверили сайт всеми возможными парсерами. Парсеры не видят ссылки на 404 станицы. В коде также нет ссылок на страницы с 404 ответами, которые видят боты Google. Как найти ссылки на страницы с 404 ошибками, которые видит Google?
Ответ
Битые ссылки могут быть как следствием неправильной настройки CMS, так и результатом человеческих ошибок.
- Товар снят с продажи или закончился на складе.
- Адрес страницы изменился и не был настроен 301 редирект.
- Пользователь ошибочно скопировал ссылку на страницу.
- Удален медиа-файл (изображение, видео) не проверив, есть на него ссылки или нет.
Почему в log-файлах находятся битые страницы:
- На момент сканирования сайта страницы отдавали 404-тую ошибку, поэтому попади в log как битые.
- Проблемные страницы отвечают 404-той ошибкой только для роботов Google и Яндекс.
Как найти битые страницы, которые видит Google:
- Используя User-agent Google (из log-записей), просканируйте сайт парсером.
- Кроме, User-agent стоит максимально снять ограничения из парсинга.
В целом 404-страницы периодически проверяются поисковыми системами на работоспособность, но со временем 404-тые удаляются из базы поисковых систем.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Подписаться на рассылку
Еще по теме:
- Что делать со страницей акции, когда она становится неактуальной? На сайте периодически публикуются различные конкурсы, акции и т.д., которые ограничены по времени (условно неделя, месяц...). Что делать со страницей акции, когда она становится неактуальной?...
- Как узнать попали ли в индекс страницы с 404 ошибкой и как их удалить с сайта? Краулер выдал список страниц с 404 ошибкой. Возникли следующие вопросы: как я могу узнать попали они в индекс или нет? Как правильно удалить их с...
- Как правильнее восстановить удаленный раздел на сайте с новыми URL? Подскажите, как правильнее: удалили раздел. Код 404. Восстанавливаем раздел, даем роботу погулять на нем, потом 301 редирект ставим на переименованный? Или сразу ставим редирект, контент...
- Как повлияет удаление 4 тыс. страниц с неуникальным контентом? Есть сайт с 4 тыс. статьями неуникального контента. Решили все статьи удалить и сделать 40 оптимизированных страниц. Как посмотрят поисковики на резкое падение числа страниц...
- Ссылки с доноров с низким DR на 404 страницы сайта — что с ними делать? Анализирую ссылочный профиль клиента. Нашел доноры с низким DR. При более детальном анализе обнаружил, что эти ссылки еще и 404. То есть, на доноре размещена...
o.titarenko@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Помогли моему сайту выйти из-под фильтра Яндекса"
Ольга Куракина
Dogscat.com"Яндекс снял фильтр уже после первой заявки"
Люк Усса
CreditProsto.ru"Мы увидели рост по целому пулу запросов"
Деревянко П.Н.
Expertology.ru