Ответ
Проблема при которой во время парса страницы имели 403 и 429 код ответа сервера, но при проверке в GSC все нормально, может иметь несколько причины:
1️⃣ Сервер может по-разному реагировать на запросы от различных программ (например, парсеров) и поисковых ботов (например, Googlebot). Он может блокировать или ограничивать доступ для парсеров, чтобы предотвратить чрезмерную нагрузку или нежелательное использование данных, но при этом корректно отдавать контент Googlebot.
2️⃣ Ошибки 403 и 429 могли быть временными проблемами, возникшими в момент парсинга. Например, кратковременная перегрузка сервера или сбой в системе безопасности. К моменту проверки в консоли проблема могла быть уже решена.
3️⃣ Ошибка 429 (Too Many Requests) прямо указывает на то, что ваш парсер отправлял слишком много запросов за короткий промежуток времени. Сервер мог временно заблокировать его для защиты от DoS-атак.
В целом, если страницы отображаются в Google Search Console как проиндексированные и имеют статус «Действительная», это означает, что Googlebot успешно получил доступ к этим страницам и обработал их содержимое. В таком случае, беспокоиться, скорее всего, не о чем с точки зрения индексации и видимости в поиске.
Ну и в следующий раз при запуске парса попробуйте запустить парсинг с меньшей интенсивностью или с другим User-Agent, чтобы понять, меняется ли ситуация.
Однако, чтоб полностью разобраться в проблеме, рекомендуем проанализировать логи Вашего сервера во время парса сайта. Логи сервера могут предоставить более подробную информацию о причинах возникновения ошибок 403 и 429, включая IP-адреса запросов и точное время возникновения ошибок.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Когда использовать 302 редирект и каково его влияние на индексирование? Сколько в выдаче держится ссылка с 302-м редиректом? В каких случаях стоит настраивать 302 ответ сервера? Как может повлиять наличие большого количества таких редиректов (около...
- Сайт отдает 404 ошибку в кэше Google — что делать? В кэше гугла мой сайт отдает 404 ошибку, при этом сайт рабочий и на него можно перейти. В чем причина такого и может ли это...
- Какой код ответа сервера указать, если сайт находится на полной реконструкции? Какой код ответа сервера лучше всего указать, когда сайт находится на полной реконструкции, то есть сейчас он не работает вообще. Хочу максимально сохранить трафик, время:...
- Как проверить, доступен ли Google bot основной контент? При заходе на сайт появляется всплывашка на весь экран с вопросам, например, есть ли 18 лет пользователю. Всплывашка реализована при помощи JS. Вопрос: как проверить,...
- Как влияют частые 500ые ответы сервера на ранжирование? Частые пятисотые ошибки могут повлиять на ранжирование сайта? И как возвращать позиции в этом случае? Ответ 5ХХ ошибки говорят о сбое в работе сервера. Поисковый...
am@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Результат ‒ восстановление доли трафика Яндекса"
Ирина Смирнова
Diagnos.ru"Санкции были сняты. Весь процесс занял полтора месяца"
Сергей Протасов
Svem.ru"Не ожидал получить настолько качественный анализ и советы за минимальную цену"
Дмитрий Сокол
Hostings.info