Ответ
Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.
Тут важно понимать, какой реальный статус у этих страниц:
- Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
- Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
- Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.
Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.
Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Какие есть способы закупки ссылок под «бурж»? Знаю, что под бурж строить ссылочное сайта намного сложнее. Отсюда вопрос: есть ли какие-то биржи по закупке ссылок по типу Коллаборатора для бурж? Или стоит...
- Как повлияет на продвижение проставление ссылок со старых статей на свой ресурс? Можно ли проставлять ссылки со старых статей или публикаций на свой ресурс? Купил сайт с похожей тематикой и хотел с его статей проставить ссылки на...
- Какими сервисами можно проверить индексацию проставленных ссылок? Работаем над ссылочным профилем, размещаем ссылки. Подскажите, какими сервисами или программами можно проверить индексацию проставленных ссылок? Ответ Самый простой способ проверить индексацию ваших ссылок это...
- Как понять, что донорская ссылка учитывается Google и передает вес? Каким образом можно хоть примерно понять, что донорская ссылка учитывается Google и передает хоть какой-то вес? Есть много купленных ссылок, которые не видны в Google...
- Можно ли размещать на сайте ссылки на социальные сети и как это влияет на позиции сайта? Можно ли размещать на сайте ссылки на социальные сети, если да, то какое количество? Не навредит ли это сайту или позициям? Ответ Да, можно размещать...
doctor@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Ответы, которые реально помогли в работе"
Анатолий
Photoboom.ua"Здесь можно реанимировать сайт даже со страшным диагнозом"
Денис Кушнир
Aden-stroy.ru"Рекомендации индивидуальны, с примерами наших страниц и разделов"
София Хаушильдт
Babyplan.ru