Как найти ссылки на страницы с 404 ошибками, которые видит Google?

Ответ

Битые ссылки могут быть как следствием неправильной настройки CMS, так и результатом человеческих ошибок.

• Товар снят с продажи или закончился на складе.
• Адрес страницы изменился и не был настроен 301 редирект.
• Пользователь ошибочно скопировал ссылку на страницу.
• Удален медиа-файл (изображение, видео) не проверив, есть на него ссылки или нет.

Почему в log-файлах находятся битые страницы:

• На момент сканирования сайта страницы отдавали 404-тую ошибку, поэтому попади в log как битые.
• Проблемные страницы отвечают 404-той ошибкой только для роботов Google и Яндекс.

Как найти битые страницы, которые видит Google:

• Используя User-agent Google (из log-записей), просканируйте сайт парсером.
• Кроме, User-agent стоит максимально снять ограничения из парсинга.

В целом 404-страницы периодически проверяются поисковыми системами на работоспособность, но со временем 404-тые удаляются из базы поисковых систем.

Еще по теме:

• Как может повлиять на ранжирование наличие 404 ошибок?
Заметил в логах много обращений к: apple-touch-icon.png apple-touch-icon-120x120-precomposed.png apple-touch-icon-120x120.png Этих файлов на сайте нет. Это ерунда, понятно, что можно просто сгенерировать файлы и забыть. Вопрос...
• Что делать с товаром, которого нет в наличии, чтобы не плодить кучу 404 страниц?
Подскажите, пожалуйста, есть магазин товаров по скупке и продаже товаров. В нем по типу авито добавляются товары, и удаляются по мере того как продаются. Насколько...
• Если Google Search Consol показывает ошибку 404, по xml ссылкам, которых нет — что это может быть и в чем опасность?
Абсолютно левые .xml ссылки показывает search.google как "Не найдено (404)". Таких файлов физически нет на сайте в данной папке. Что это может быть? Опасны ли...
• Почему робот Яндекса может повторно обходить 404 страницы?
Объясните, пожалуйста, почему в статистике обхода Вебмастера регулярно обходятся страницы 404, при этом ссылок на них на сайте нет. И второй вопрос: правильно я понимаю,...
• Что делать с внешними ссылками, ведущими на страницы 404?
Что делать с внешними ссылками, ведущими на страницы 404? Допустим, у нас был ранее товар, на который активно ссылались, товар более не продается, но ссылки...

---

Ольга С.

SEO-аналитик

Работала в рекламе, занималась копирайтингом.

Дожила до своих лет, предсказала будущее, вывела в ТОП сайт ветеринарной клиники.

Сейчас помогаю развивать клиентские проекты в SiteClinic.

Девиз: Рано или поздно это придется сделать, поэтому лучше рано.

o.titarenko@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)