Что значит, если краулер находит внешние ссылки с кодом 403, но по ним открываются нормальные страницы?

Подскажите плиз такой вопрос: если я жабой нахожу на сайте внешние ссылки, которые якобы 403, но по факту по ним открываются нормальные страницы — это типа сайт по ссылке блочит краулер и поэтому такой код отдается? И это сильно плохо вообще или можно забить на такие ссылки и жить спокойно?

Ответ

Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.

Тут важно понимать, какой реальный статус у этих страниц:

Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.

Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.

Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Что делать, если на картинки на сайте ведут ссылки с мусорных сайтов?

Вижу на мой сайт идут ссылки с мусорных сайтов на картинки на моем сайте, т.е. ссылка на domain/path/***.jpg Нужно ли их удалять в disavow? Трафик...

Какими должны быть покупные ссылки и их источники для мультиязычного сайта?

Есть сайт с русской, украинской и английской версиями. Как покупать ссылки для такого сайта? Основная версия русская (украинская и английская на подпапках). Нужны только ссылки...

Рационально ли размещать ссылки на сайтах вакансий и файлообменниках?

У меня есть технический сайт (СТО). Будет ли рациональным размещение ссылок на сайтах с вакансиями, файлообменниках и прочих, которые являются авторитетными, но по тематике не...