Ответ
Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.
Тут важно понимать, какой реальный статус у этих страниц:
- Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.
- Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.
- Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.
Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.
Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Влияние ссылок с буржнета на продвижение рускоязычного сайта Это правда, что Google любит ссылки с иностранных сайтов (буржунет) и учитывают их. И чем больше сайтов с буржунета, тем выше позиции рунетовского сайта? Почему...
- По каким причинам могут не отображаться ссылки после регистрации сайта в справочниках? Зарегистрировали сайт в 15 справочниках, проставили там ссылки, добавили описание. Но по анализу бэклинков только 2 ссылки. Почему может быть так? Ответ Есть несколько причин,...
- Что значит отсутствие в Google Search Console информации о ссылках на сайт? Если есть страница (и не одна) со ссылкой на сайт, она точно в индексе. Проверяю и по оператору и цитатном поиском. Но её не видно...
- Какие есть рекомендации по добавлению партнерских ссылок на сайте, чтобы не попасть под санкции ПС? Как вставлять ссылки на партнёрки на сайте, чтобы ПС не накладывали санкции? Есть ли у ПС рекомендации для этого? Ответ Если контент на страницах с...
- Как будут срабатывать ссылки с pbn сети, где у доменов плохая история? Можно ли использовать для pbn домены с плохой историей? "Заражённый" домен повлияет на качество всей сетки? Как с такой сети pbn будут срабатывать ссылки? Ответ...
doctor@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Наконец сайт тронулся с места"
Илья Приходько
Patent-rus.ru"Сайт выведен из-под фильтра"
Коробов С.А.
Pechimax.ru"Развернутый и структурированный отчет с указанием ошибок"
Владислав Аверьянов
Homesoverseas.ru