Как найти ссылки на страницы с 404 ошибками, которые видит Google?

Ответ

Битые ссылки могут быть как следствием неправильной настройки CMS, так и результатом человеческих ошибок.

• Товар снят с продажи или закончился на складе.
• Адрес страницы изменился и не был настроен 301 редирект.
• Пользователь ошибочно скопировал ссылку на страницу.
• Удален медиа-файл (изображение, видео) не проверив, есть на него ссылки или нет.

Почему в log-файлах находятся битые страницы:

• На момент сканирования сайта страницы отдавали 404-тую ошибку, поэтому попади в log как битые.
• Проблемные страницы отвечают 404-той ошибкой только для роботов Google и Яндекс.

Как найти битые страницы, которые видит Google:

• Используя User-agent Google (из log-записей), просканируйте сайт парсером.
• Кроме, User-agent стоит максимально снять ограничения из парсинга.

В целом 404-страницы периодически проверяются поисковыми системами на работоспособность, но со временем 404-тые удаляются из базы поисковых систем.

Еще по теме:

• Битые ссылки 404: как они влияют на ранжирование сайта, как найти их и исправить
Какие санкции от ПС могут быть, если на сайт ведёт много битых ссылок? Настроили так, что все, кто переходит по такой ссылке, попадают на заглушку...
• Как повлияет на продвижение, если определенный уровень вложенности при формировании url отдает 404?
Структура региональности реализована через подпапки. Например: site.com/state/texas site.com/state/california Но, при этом, промежуточная вложенность site.com/state отдает 404 код. Может ли негативно сказаться, если определенный уровень вложенности...
• Почему в Яндексе возникает «ложная ошибка 404» и как это проверить?
При просмотре отчета в Яндекс.Вебмастер "Индексирование => Статистика обхода" инструмент показывает, что есть страница, которая отдаёт 404 код, по факту страница доступна и отдаёт 200...
• Какой вариант вывода 404 ошибки будет правильным?
Как лучше сделать вывод 404 ошибки: редиректом на страницу ошибки (error/404/) или по адресу несуществующей страницы показывать 404? Есть отличия между этими вариантами? И какие?...
• Как может повлиять на ранжирование наличие 404 ошибок?
Заметил в логах много обращений к: apple-touch-icon.png apple-touch-icon-120x120-precomposed.png apple-touch-icon-120x120.png Этих файлов на сайте нет. Это ерунда, понятно, что можно просто сгенерировать файлы и забыть. Вопрос...

---

Ольга С.

SEO-аналитик

Работала в рекламе, занималась копирайтингом.

Дожила до своих лет, предсказала будущее, вывела в ТОП сайт ветеринарной клиники.

Сейчас помогаю развивать клиентские проекты в SiteClinic.

Девиз: Рано или поздно это придется сделать, поэтому лучше рано.

o.titarenko@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)