Ответ
Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.
Тут важно понимать, какой реальный статус у этих страниц:
- Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
- Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
- Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.
Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.
Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как передать ссылочный вес на основной сайт с дропов? Есть 1-3 основных сайта, под эти сайты есть тематические 15 сайтов (на каждом по 5 страниц, на одном 20+ страниц). Как с этих сайтов дать...
- Какие возможные последствия для сайта, если у него 90%+ dofollow-ссылок? Могут ли быть последствия для сайта, если у него 90%+ dofollow-ссылок? И на какие показатели следует опираться? Ответ Если ваш ссылочный профиль сайта состоит на...
- Какие есть способы закупки ссылок под «бурж»? Знаю, что под бурж строить ссылочное сайта намного сложнее. Отсюда вопрос: есть ли какие-то биржи по закупке ссылок по типу Коллаборатора для бурж? Или стоит...
- Какими сервисами можно проверить индексацию проставленных ссылок? Работаем над ссылочным профилем, размещаем ссылки. Подскажите, какими сервисами или программами можно проверить индексацию проставленных ссылок? Ответ Самый простой способ проверить индексацию ваших ссылок это...
- Как ускорить процесс индексирования беклинков в Google? Чем прогнать беклинки, чтобы Google начал их учитывать или заметил их? Ответ Чтобы Google заметил беклинки на ваш сайт, он должен их проиндексировать. Чтобы ускорить...
doctor@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Наконец сайт тронулся с места"
Илья Приходько
Patent-rus.ru"Яндекс снял фильтр уже после первой заявки"
Люк Усса
CreditProsto.ru"Здесь можно реанимировать сайт даже со страшным диагнозом"
Денис Кушнир
Aden-stroy.ru