Ответ
Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.
Тут важно понимать, какой реальный статус у этих страниц:
- Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
- Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
- Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.
Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.
Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Какие есть способы для увеличения количества ссылающихся доменов на сайт? Как некоторым сайтам удаётся сделать так, что количество ссылающихся поддоменов 47 тысяч? Что за программы такие? И если у конкурента такой профиль, то нужно ли...
- Какие есть способы закрытия ссылки от поисковиков? Какие сейчас есть способы закрытия ссылки от поисковиков? Есть ли смысл закрывать через AJAX И JS? Ответ AJAX И JS на сегодня действительно реальный и...
- Насколько сильны ссылки с морды сайта и в каком соотношении их стоит покупать? Насколько сильны ссылки с морды? Примерно в каком соотношении к остальным ссылкам их стоит покупать? Ответ Ссылки с морд (с главных страниц) сайтов – это...
- Что делать с внешними ссылками, ведущими на страницы 404? Что делать с внешними ссылками, ведущими на страницы 404? Допустим, у нас был ранее товар, на который активно ссылались, товар более не продается, но ссылки...
- От чего зависит попадание ссылки в отчет Linking domains и как часто обновляется этот отчет? От чего зависит попадание ссылки в GSC в отчете Linking domains? И как часто обновляется этот отчет для маленьких сайтов и крупных миллионников? Ответ В...
doctor@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Здесь можно реанимировать сайт даже со страшным диагнозом"
Денис Кушнир
Aden-stroy.ru"Я получил рекомендации и процесс сдвинулся с мёртвой точки."
"Рекомендации индивидуальны, с примерами наших страниц и разделов"
София Хаушильдт
Babyplan.ru