По каким причинам после парсинга страницы имеют 403 и 429 код ответа сервера?

Ответ

Проблема при которой во время парса страницы имели 403 и 429 код ответа сервера, но при проверке в GSC все нормально, может иметь несколько причины:

1️⃣ Сервер может по-разному реагировать на запросы от различных программ (например, парсеров) и поисковых ботов (например, Googlebot). Он может блокировать или ограничивать доступ для парсеров, чтобы предотвратить чрезмерную нагрузку или нежелательное использование данных, но при этом корректно отдавать контент Googlebot.

2️⃣ Ошибки 403 и 429 могли быть временными проблемами, возникшими в момент парсинга. Например, кратковременная перегрузка сервера или сбой в системе безопасности. К моменту проверки в консоли проблема могла быть уже решена.

3️⃣ Ошибка 429 (Too Many Requests) прямо указывает на то, что ваш парсер отправлял слишком много запросов за короткий промежуток времени. Сервер мог временно заблокировать его для защиты от DoS-атак.

В целом, если страницы отображаются в Google Search Console как проиндексированные и имеют статус «Действительная», это означает, что Googlebot успешно получил доступ к этим страницам и обработал их содержимое. В таком случае, беспокоиться, скорее всего, не о чем с точки зрения индексации и видимости в поиске.

Ну и в следующий раз при запуске парса попробуйте запустить парсинг с меньшей интенсивностью или с другим User-Agent, чтобы понять, меняется ли ситуация.

Однако, чтоб полностью разобраться в проблеме, рекомендуем проанализировать логи Вашего сервера во время парса сайта. Логи сервера могут предоставить более подробную информацию о причинах возникновения ошибок 403 и 429, включая IP-адреса запросов и точное время возникновения ошибок.

Еще по теме:

• Как влияют частые 500ые ответы сервера на ранжирование?
Частые пятисотые ошибки могут повлиять на ранжирование сайта? И как возвращать позиции в этом случае? Ответ 5ХХ ошибки говорят о сбое в работе сервера. Поисковый...
• Когда использовать 302 редирект и каково его влияние на индексирование?
Сколько в выдаче держится ссылка с 302-м редиректом? В каких случаях стоит настраивать 302 ответ сервера? Как может повлиять наличие большого количества таких редиректов (около...
• Как проверить, доступен ли Google bot основной контент?
При заходе на сайт появляется всплывашка на весь экран с вопросам, например, есть ли 18 лет пользователю. Всплывашка реализована при помощи JS. Вопрос: как проверить,...
• Какой код ответа сервера указать, если сайт находится на полной реконструкции?
Какой код ответа сервера лучше всего указать, когда сайт находится на полной реконструкции, то есть сейчас он не работает вообще. Хочу максимально сохранить трафик, время:...
• Сайт отдает 404 ошибку в кэше Google — что делать?
В кэше гугла мой сайт отдает 404 ошибку, при этом сайт рабочий и на него можно перейти. В чем причина такого и может ли это...

---

Андрей М.

SEO-аналитик

Как только познакомился с SEO, возможности оказывать влияние на продвижение сайта и безграничного личного развития впечатлили настолько, что теперь не представляю, как мог заниматься чем либо ещё в жизни.

Увлекаюсь квестами, загадками и настольными играми.

Девиз: Carpe diem

am@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)