Ответ
Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.
Тут важно понимать, какой реальный статус у этих страниц:
- Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
- Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
- Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.
Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.
Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как найти страницы сайта, на которых нет вообще внешних ссылок? Как найти страницы сайта, на которые нет вообще внешних ссылок. Можно ли это сделать с помощью какого-то сервиса? Ответ Чтобы найти страницы сайта, на которые...
- Стоит ли покупать ссылки с отметкой «На правах рекламы» и со статей в специальных рекламных разделах? Подскажите: 1. Стоит ли покупать ссылки со статей, у которых есть пометка «На правах рекламы»? 2. Стоит ли покупать ссылки со статей, размещенных в специально...
- Как поисковики относятся к ссылкам с футера? Как поисковики относятся к ссылкам с футера? Есть ли польза от них, или наоборот вред, если ссылки стоят с качественных сайтов с трафиком? Ответ Google...
- Нужно ли покупать ссылки на главную страницу сайта? Весь основной трафик собирают внутренние страницы сайта. Стоит ли покупать ссылки на главную страницу, если она собирает только брендовый трафик? И если стоит, то в...
- Насколько сильны ссылки с морды сайта и в каком соотношении их стоит покупать? Насколько сильны ссылки с морды? Примерно в каком соотношении к остальным ссылкам их стоит покупать? Ответ Ссылки с морд (с главных страниц) сайтов – это...
doctor@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Получили +15-20 к ВЧ-запросам в Яндексе"
Денис Нарижный
Komputernaya.ru"Помогли разобраться с микроразметкой даже в новогодние праздники"
"Яндекс снял фильтр уже после первой заявки"
Люк Усса
CreditProsto.ru