Ответ
Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.
Тут важно понимать, какой реальный статус у этих страниц:
- Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
- Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
- Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.
Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.
Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как будут срабатывать ссылки с pbn сети, где у доменов плохая история? Можно ли использовать для pbn домены с плохой историей? "Заражённый" домен повлияет на качество всей сетки? Как с такой сети pbn будут срабатывать ссылки? Ответ...
- Работают ли ссылочные пирамиды? Если сравнивать ссылочные пирамиды с просто ссылками — что эффективнее? Можно ли сравнить эффект просто ссылки в 1 уровень vs ссылки в несколько уровней? Ответ...
- Будет ли польза от закупки ссылок с доноров на другом языке для продвижения англоязычной версии сайта? Есть англоязычный сайт, ориентированный на гео Дубай, ОАЭ. Недавно добавили польскую версию на подпапке /pl/. Интересно, можно ли закупать ссылки с доноров на польском языке...
- Какую ссылочную стратегию использовать для продвижения сайта-справочника по языковым группам для нескольких стран? Подскажите, ссылки работают по языковым группам для нескольких стран, или под каждую страну нужно отдельное продвижение? Ниша некоммерческая, сайт-справочник. Ответ Ссылочное продвижение может работать как...
- Сколько внешних обратных ссылок на сайт допустимо проставлять в одной статье? При покупке внешних обратных ссылок на сайт, сколько в одной статье допустимо проставлять ссылок? Проставлять по принципу 1 ссылка — 1 статья или можно поставить,...
doctor@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Ощутимый рост позиций после второго апа"
Абрамов Дмитрий Сергеевич
Dvermezhkom-service.ru"Здесь можно реанимировать сайт даже со страшным диагнозом"
Денис Кушнир
Aden-stroy.ru"Рекомендации индивидуальны, с примерами наших страниц и разделов"
София Хаушильдт
Babyplan.ru