Что значит, если краулер находит внешние ссылки с кодом 403, но по ним открываются нормальные страницы?

Ответ

Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.

Тут важно понимать, какой реальный статус у этих страниц:

• Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
• Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
• Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.

Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.

Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.

Еще по теме:

• Могут ли покупные ссылки выпадать из индекса со временем и надо ли это мониторить?
Могут ли покупные ссылки выпадать из индекса со временем? Нужно ли мониторить время от времени индекс покупных ссылок и как это сделать? Ответ Покупные ссылки...
• Как правильно построить ссылочную пирамиду по схеме Tier 1, 2 и 3?
Хочу первый раз оформить ссылочную пирамиду по схеме: Tier 1 - ссылки с качественных площадок с GGL Tier 2 - 10 ссылок из профилей с...
• С чем может быть связано падение DR после закупки ссылок?
После закупки ссылок с анкорами и без упал DR... на 3 единицы. Ресурсы хорошие были выбраны. До этого последний раз ссылки закупались год назад. До...
• Как на ранжирование сайта влияет ссылка с трастового сервиса/сми, если донор помечает материал, как рекламный?
Насколько полезна ссылка с трастового сервиса/сми, которая индексируется поисковиками, но в самом партнерском материале самим донором материал помечается, как рекламный? Ответ На данный момент атрибут...
• Как проверить новые ссылки на спамность и определить те, от которых стоит отказаться?
Сайт начал проседать в Google после прогона по ссылочному. Как проверить новые ссылки на спамность и от каких нужно будет отказаться, чтобы вернуть позиции? Ответ...

---

Юлия К.

doctor@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)