Ответ
Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.
Тут важно понимать, какой реальный статус у этих страниц:
- Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
- Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
- Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.
Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.
Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Работает ли в Яндексе продвижение ссылками? Работает ли в Яндексе продвижение ссылками? Планирую попробовать продвинуть страницу анкорные арендными ссылками под Яндекс (Google не важен). При закупке ссылок под Яндекс какие моменты...
- Нужно ли ссылки с сайта на соцсети закрывать nofollow? Ссылки с сайта на соцсети вставить nofollow или dofollow? Ответ Однозначного ответа на этот вопрос нет. Часть специалистов считает, что nofollow на соцсети - это...
- Какая ссылка считается хорошей? Какая ссылка считается хорошей: сколько переходов по ней должно быть, какие IP адреса, DR, DA и тд? Ответ При оценке качества донора мы используем инструмент...
- Как проверить новые ссылки на спамность и определить те, от которых стоит отказаться? Сайт начал проседать в Google после прогона по ссылочному. Как проверить новые ссылки на спамность и от каких нужно будет отказаться, чтобы вернуть позиции? Ответ...
- Как нейтрализовать сквозные реферальные ссылки, если связаться с сайтами нет возможности? Ситуация: есть сквозные реферальные входящие ссылки с прямыми анкорами с ключами. Ну и по этим ключам не ранжируемся, а раньше ранжировались. Как нейтрализовать эти ссылки...
doctor@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Через 1,5 месяца позиции вернулись в ТОП 10"
Евтеев Антон Павлович
Ac-u.ru"Развернутый и структурированный отчет с указанием ошибок"
Владислав Аверьянов
Homesoverseas.ru"Яндекс снял фильтр уже после первой заявки"
Люк Усса
CreditProsto.ru