Что значит, если краулер находит внешние ссылки с кодом 403, но по ним открываются нормальные страницы?

Подскажите плиз такой вопрос: если я жабой нахожу на сайте внешние ссылки, которые якобы 403, но по факту по ним открываются нормальные страницы — это типа сайт по ссылке блочит краулер и поэтому такой код отдается? И это сильно плохо вообще или можно забить на такие ссылки и жить спокойно?

Ответ

Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.

Тут важно понимать, какой реальный статус у этих страниц:

Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.

Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.

Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Можно ли понизить видимость конкурента в Google, если добавлять битые ссылки на его сайт?

Есть сетка сайтов, на которой теоретически можно разместить ссылки на конкурента по одному большому белому проекту в конкурентной тематике, а через пару месяцев эти ссылки...

Как проверить новые ссылки на спамность и определить те, от которых стоит отказаться?

Сайт начал проседать в Google после прогона по ссылочному. Как проверить новые ссылки на спамность и от каких нужно будет отказаться, чтобы вернуть позиции? Ответ...

От чего зависит попадание ссылки в отчет Linking domains и как часто обновляется этот отчет?

От чего зависит попадание ссылки в GSC в отчете Linking domains? И как часто обновляется этот отчет для маленьких сайтов и крупных миллионников? Ответ В...

Как сильно на продвижение страниц влияют ссылки с доменов .gov и .edu?

У конкурентов в ТОПе часть ссылок с доменов .gov и .edu и прочих. Насколько сильно они влияют на продвижение страниц и насколько они эффективнее обычных...