Как через htaccess или другим способом запретить прямые заходы на сайт?

Ответ

Полный запрет прямых заходов на сайт может быть контрпродуктивным с точки зрения SEO и, действительно, может негативно повлиять на позиции, а иногда и на индексацию.

• Многие постоянные пользователи могут знать ваш домен и заходить на сайт напрямую. Если закрыть такую возможность, можно потерять реальных посетителей, а также негативно скажется на поведенческих факторах.
• Некоторые соцсети, мессенджеры, почтовые сервисы и другие площадки могут не всегда передавать корректный реферер, в результате чего и эти пользователи столкнутся с блокировкой.
• Иногда поисковые боты не передают реферер в заголовках при обходе страниц. Если заблокировать все заходы без реферера, есть вероятность, что некоторые роботы ПС не смогут сканировать сайт и начнутся проблемы с индексацией. Также и блокировка по IP-адресам может привести к тому, что поисковые роботы не смогут проиндексировать ваш сайт, если их IP-адреса попадут в черный список.

Через .htaccess в основном можно заблокировать прямые заходы тремя способами:

1️⃣ Использование директивы RewriteEngine и RewriteCond для проверки HTTP-заголовка Referer. Если заголовок отсутствует или не соответствует разрешенным значениям, можно перенаправлять пользователя на другую страницу или выдавать ошибку.

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?yourdomain\.com [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .* — [F,L]

2️⃣ Блокировка по подозрительным IP-адресам, которые можно выявить с помощью анализа логов сайта.

Order Allow,Deny
Deny from 192.168.1.1
Deny from 203.0.113.0/24
Allow from all

3️⃣ Также в .htaccess можно заблокировать доступ к сайту для определённых подозрительных User-Agent.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} badbot [NC]
RewriteRule .* — [F,L]

Однако мы рекомендуем использовать такие меры по блокировке прямых заходов только в крайнем случае, например, для временной защиты от DDoS-атак. В остальных случаях лучше оставить все как есть, так как алгоритмы Google довольно быстро вычисляют негативных и агрессивных ботов, действующих через прямые заходы и игнорирует их при составлении оценки качества страниц сайта.

Еще по теме:

• Что такое LSI-ключи, как их найти и внедрить на сайт
В этой статье речь пойдёт о том, что такое LSI, как и где искать LSI-запросы, как внедрить на сайт, и каких результатов можно достичь с...
• Опасны ли сейчас ссылки со спамных или порно ресурсов?
Чем опасны ссылки и переходы с спамных или порно сайтов в 2023 году? ПС не научились их фильтровать и не учитывать? Ответ Google в значительной...
• Можно ли добавлять околотематичные разделы на сайте, если их нет у конкурентов?
Есть сайт услуг, хотим добавить раздел с арендой/продажей техники (околотематичный раздел). У конкурентов таких разделов нет. Можно ли добавлять такие разделы или лучше ориентироваться на...
• Коммерческие факторы ранжирования Яндекса. Как стать лучше конкурентов
Недавно обратили внимание, что тема коммерческих факторов ранжирования не достаточно раскрыта на нашем блоге и, разумеется, решили исправить это. Мы расскажем, что же такое коммерческие факторы, а...
• Сезонность запросов в Яндекс и Google или как развивать сезонный проект
Как собирать сезонные запросы Виды сезонных запросов Инструменты для определения сезонности Как и когда собирать сезонные фразы? Сезонность запросов в Key Collector Как продвигать сайт...