Что значит, если краулер находит внешние ссылки с кодом 403, но по ним открываются нормальные страницы?

Подскажите плиз такой вопрос: если я жабой нахожу на сайте внешние ссылки, которые якобы 403, но по факту по ним открываются нормальные страницы — это типа сайт по ссылке блочит краулер и поэтому такой код отдается? И это сильно плохо вообще или можно забить на такие ссылки и жить спокойно?

Ответ

Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.

Тут важно понимать, какой реальный статус у этих страниц:

Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.

Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.

Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

От чего зависит попадание ссылки в отчет Linking domains и как часто обновляется этот отчет?

От чего зависит попадание ссылки в GSC в отчете Linking domains? И как часто обновляется этот отчет для маленьких сайтов и крупных миллионников? Ответ В...

Критично для мультиязычного сайта на подпапках скупать ссылки не того языка для языковых версий?

Насколько критично для мультиязычного сайта на подпапках скупать ссылки не того языка для языковых версий? Например, есть испаноязычная страница и куча крутых англоязычных доноров. Можно...

Стоит ли покупать ссылки с отметкой «На правах рекламы» и со статей в специальных рекламных разделах?

Подскажите: 1. Стоит ли покупать ссылки со статей, у которых есть пометка «На правах рекламы»? 2. Стоит ли покупать ссылки со статей, размещенных в специально...

Что делать, если внешняя ссылка ведет на несуществующую страницу сайта?

Нужно ли настраивать редиректы, если внешняя ссылка стоит на несуществующую страницу сайта? Что делать, если таких ссылок много? Ответ Если вы обнаружили внешние ссылки, которые...