+7 (495) 215-53-73

В Москве

Заказать SEO-услуги
Согласен с правилами обработки персональных данных
Скорость ответа - до 30 минут!

Главная    Вопросы по SEO, продвижению и оптимизации сайтов в Яндекс и Google    404 страницы    По каким причинам робот видит 404 ответ сервера на странице?

По каким причинам робот видит 404 ответ сервера на странице?

Заказать SEO-услуги
Согласен с правилами обработки персональных данных
Скорость ответа - до 30 минут!
На сайте есть странная ситуация, при которой страница для пользователя доступна, но робот видит ответ сервера 404. В коде страницы нет ничего такого, чтобы не давало сканировать роботам. Какие могут быть причины?

Ответ

Причин возникновения таких проблем может быть достаточно много. Например:

  • ошибки настройки CloudFlare или подобных CDN;
  • блокировка поисковых ботов на сервере;
  • блокировка IP адресов, по которым могут заходить поисковые боты;
  • блокировка скриптов загрузки страницы, которые например используются в технологии SPA (Single Page Application) сайтов.

Чтобы понять конкретную причину, необходимо проверить как боты поисковых систем видят сайт, каким образом они его сканируют. Для проверки того как видит сайт, например, Google бот, необходимо перейти в GSC и:

1️⃣ Проверить страницу при помощи инструмента Проверка URL;

2️⃣ Запустить проверку страницы непосредственно на сайте при помощи кнопки Проверить страницу на сайте;

3️⃣ Открыть отчет Посмотреть проверенную страницу, в котором можно будет увидеть три вкладки:
— HTML. Код страницы в том виде, в котором его видит Google бот.
— Скриншот страницы.
— Подробнее. В этой вкладке можно увидеть данные о ответе сервера, ресурсах страницы и сообщения из консоли JavaScript.

В результате, вы сможете увидеть и понять, что конкретно не так со страницей и почему бот Google не может обработать код страницы и присваивает ей 404 ошибку.

Важно! Не стоит запрещать к индексации JS и CSS файлы, так как это может привести к тому, что часть страницы бот попросту не увидит и соответственно не проиндексирует.

Также не лишним будет проверить наличие внутренних и внешних ссылок, которые ведут на похожие , но не существующие страницы с ответом сервера 404.

Так, например, пользователь может зайти на страницу site.com/novosti-mira/ и она отдает ответ сервера 200, а в коде внутренняя ссылка может быть такой – site.com/novosti-v-mire/ и она будет отдавать ответ сервера 404, если такой страницы на сайте нет.

Поэтому вам нужно:

  • Проверить отчет Не найдено (404) в Google Search Console. Там будет список всех URL адресов, помеченных этим ответом сервера. Обязательно посмотрите, какие страницы ссылаются на несуществующую страницу и в их коде проверяйте ошибки в URL адресах.
  • Спарсить сайт при помощи Screaming Frog или Netpeak Spider. В обеих этих программах есть возможность увидеть страницы с ответом сервера 404 и какие страницы ссылаются на несуществующие.
  • Проверить ссылочную массу в Ahrefs, Majestic, GSC и др. Когда вы проверите сайт на внешние ссылки и увидите, что есть какое-то количество ссылок, ведущих на страницы с ответом 404, то необходимо связаться с владельцами этих сайтов и попросить исправить ссылки на правильные.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:


Александр Р.

aleksandr.r@siteclinic.ru

Оцените мою статью: 

1 Star2 Stars3 Stars4 Stars5 Stars (Пока оценок нет)

Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

Отзывы клиентов:

"С первого контакта до положительного ответа Яндекса прошло 2 недели"

Александр Кисленко

Ovkuse.ru

"Прошло не так много времени, но первые результаты уже налицо"

Евгений Ильин

Best-stroy.ru

"Не с первого раза, но мы все равно победили Яндекс"

Алексей

Anapa-new.ru
Все отзывы

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *


Мы продвигаем: