По каким причинам парс сайта краулерами находит страницы с 503-й ошибкой, которые открываются и в онлайн сервисах отдают код 200?

Краулеры (SiteAnalyzer и ScreamingFrog) при сканировании сайта находят страницы с 503 ошибкой. Сами страницы прекрасно открываются, и в вебмастере и в онлайн сервисах отдают код 200. Пробовал менять UserAgent, количество потоков — ничего не меняется. Что это такое может быть и чем чревато?

Ответ

Если страницы открываются и загружаются для пользователей и что самое важное, для поисковых систем – никаких проблем с ранжированием сайта не будет. Это самое важное.

В данное случае проблема может быть в из-за двух моментов:

Проблемы в работе программы/компьютера. Попробуйте обновить программу до последней версии. Удалите и установите программу заново. Попробуйте установить программу на другом компьютере и попробовать сканировать нужный сайт с него.
Настройки сервера/хостинга. Какое бы количество потоков вы не устанавливали, более продвинутые сервера могут точно определить, кто запрашивает страницу, человек или программа. Скорее всего, проблема именно в этом. Вы можете написать в СП хостинга и установить список разрешенных IP адресов, с которых будет доступен «безлимитный» доступ к сайту. После этого ошибка исчезнет, какое количество потоков вы бы не использовали.

Если это сайт конкурента – попробуйте скачать сайт через прокси. Иногда бывает, что прокси крупных городов добавлены в списки «слабо ограничиваемых». Сперва попробуйте бесплатные, потом можете купить парочку платных. Но если у вас ничего не получится – значит сайт конкурента хорошо позаботился о своей безопасности и не хочет, чтобы «лишние глаза» изучали сайт.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Влияет ли скорость загрузки и скорость ответа сервера на сканирование и индексирование сайта?

Если скорость ответа сервера очень маленькая, может это повлиять на сканирование и индексирование сайта? Тот же вопрос про общую скорость загрузки сайта. Ответ Да, скорость...

Как сайту быстро выйти из песочницы Google и Яндекса?

Через сколько времени обычно выходит сайт интернет-магазина из песочницы Google и Яндекса? Можно им помочь в этом и как это сделать? Ответ На сегодняшний день...

Почему выпадают из индекса страницы?

Как так может быть - в серч панели индексация упала в 4 раза. Было 1000+ стало 200+, но на вкладке эффективности ничего не поменялось. А...

Что делать при неправильной индексации мультиязычных страниц?

Есть главная страница на украинском, и английская версия с адресом /en. В консоли показывается, что эта английская версия не проиндексирована потому что Google выбрал "другую...