Как через htaccess или другим способом запретить прямые заходы на сайт?

Ответ

Полный запрет прямых заходов на сайт может быть контрпродуктивным с точки зрения SEO и, действительно, может негативно повлиять на позиции, а иногда и на индексацию.

• Многие постоянные пользователи могут знать ваш домен и заходить на сайт напрямую. Если закрыть такую возможность, можно потерять реальных посетителей, а также негативно скажется на поведенческих факторах.
• Некоторые соцсети, мессенджеры, почтовые сервисы и другие площадки могут не всегда передавать корректный реферер, в результате чего и эти пользователи столкнутся с блокировкой.
• Иногда поисковые боты не передают реферер в заголовках при обходе страниц. Если заблокировать все заходы без реферера, есть вероятность, что некоторые роботы ПС не смогут сканировать сайт и начнутся проблемы с индексацией. Также и блокировка по IP-адресам может привести к тому, что поисковые роботы не смогут проиндексировать ваш сайт, если их IP-адреса попадут в черный список.

Через .htaccess в основном можно заблокировать прямые заходы тремя способами:

1️⃣ Использование директивы RewriteEngine и RewriteCond для проверки HTTP-заголовка Referer. Если заголовок отсутствует или не соответствует разрешенным значениям, можно перенаправлять пользователя на другую страницу или выдавать ошибку.

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?yourdomain\.com [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .* — [F,L]

2️⃣ Блокировка по подозрительным IP-адресам, которые можно выявить с помощью анализа логов сайта.

Order Allow,Deny
Deny from 192.168.1.1
Deny from 203.0.113.0/24
Allow from all

3️⃣ Также в .htaccess можно заблокировать доступ к сайту для определённых подозрительных User-Agent.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} badbot [NC]
RewriteRule .* — [F,L]

Однако мы рекомендуем использовать такие меры по блокировке прямых заходов только в крайнем случае, например, для временной защиты от DDoS-атак. В остальных случаях лучше оставить все как есть, так как алгоритмы Google довольно быстро вычисляют негативных и агрессивных ботов, действующих через прямые заходы и игнорирует их при составлении оценки качества страниц сайта.

Еще по теме:

• Что делать при массовом появлении с чужих доменов спам-ссылок, ведущих на мой сайт с редиректами на казино?
У меня такой вопрос – на мой сайт ссылается каждый месяц по 100-200 доменов каких-то левых и при переходе на них редиректит на казино, ставки...
• Что негативно может повлиять на SEO в слайдере на странице сайта?
Хотел бы узнать влияет ли на SEO слайдер на странице? И если в слайдере заголовки h2, а заголовок h1 находится ниже слайдера, и в слайдере...
• Как должны выглядеть метатеги для коммерческой страницы?
Везде пишут про обязательную настройку мета тегов, но нигде ни приводят примеры этих самых идеальных написаний. Как должен выглядеть мета дескрипшн для коммерческой страницы? Приведите...
• Правила оптимизации интернет-магазина: структура и навигация.
Поисковые системы уже долгое время при анализе сайта обращают внимание не только на тексты и метатеги, но и на удобство сайта для пользователей. Особенно важно...
• Скриншот только с текстом в Google Search Console: почему робот не видит стили и картинки?
В search console, при переобходе сайта, показывает скриншот сайта только текст. Без картинок и визуальных элементов. Это нормально или должно отображать все элементы? Ответ Это...