Ответ
Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.
Тут важно понимать, какой реальный статус у этих страниц:
- Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
- Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
- Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.
Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.
Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Что делать с внешними ссылками, ведущими на страницы 404? Что делать с внешними ссылками, ведущими на страницы 404? Допустим, у нас был ранее товар, на который активно ссылались, товар более не продается, но ссылки...
- Нужно ли закупать ссылки для сайта статейника? Нужно ли закупать ссылки для сайта статейника? Мой коллега утверждает, что этого делать не надо, мотивируя это тем, что ему на площадку донор на Миралинксе...
- Эффективно ли размещение ссылок на донорах с другой доменной зоной и страной? При поиске доноров для размещения ссылок для интернет-магазина, тематические и региональные площадки уже закончились за адекватную цену. Насколько эффективным будет размещение на донорах с другой...
- Какие ссылки наиболее ценны для SEO и как отличить их от вредных? Какие типы ссылок (какие ссылающиеся сайты) считаются сегодня самыми ценными? Как отличить естественные ссылки от «вредных» с точки зрения ИИ и Google? Ответ Сейчас ценность...
- На какие страницы лучше ставить ссылки, если на сайте много однотипных страниц? На какие страницы лучше ставить ссылки, если на сайте много однотипных страниц? Например, если сайт — это каталог компаний, т.е. есть пару тысяч компаний, их...
doctor@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Рекомендации помогли улучшить позиции сайта, которые серьезно просели"
Артур Шаймухаметов
Boogie-shop.ru"Прекрасно проработанный аудит"
Денис
Eвроавто.рф"С первого контакта до положительного ответа Яндекса прошло 2 недели"
Александр Кисленко
Ovkuse.ru