Как через htaccess или другим способом запретить прямые заходы на сайт?

Ответ

Полный запрет прямых заходов на сайт может быть контрпродуктивным с точки зрения SEO и, действительно, может негативно повлиять на позиции, а иногда и на индексацию.

• Многие постоянные пользователи могут знать ваш домен и заходить на сайт напрямую. Если закрыть такую возможность, можно потерять реальных посетителей, а также негативно скажется на поведенческих факторах.
• Некоторые соцсети, мессенджеры, почтовые сервисы и другие площадки могут не всегда передавать корректный реферер, в результате чего и эти пользователи столкнутся с блокировкой.
• Иногда поисковые боты не передают реферер в заголовках при обходе страниц. Если заблокировать все заходы без реферера, есть вероятность, что некоторые роботы ПС не смогут сканировать сайт и начнутся проблемы с индексацией. Также и блокировка по IP-адресам может привести к тому, что поисковые роботы не смогут проиндексировать ваш сайт, если их IP-адреса попадут в черный список.

Через .htaccess в основном можно заблокировать прямые заходы тремя способами:

1️⃣ Использование директивы RewriteEngine и RewriteCond для проверки HTTP-заголовка Referer. Если заголовок отсутствует или не соответствует разрешенным значениям, можно перенаправлять пользователя на другую страницу или выдавать ошибку.

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?yourdomain\.com [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .* — [F,L]

2️⃣ Блокировка по подозрительным IP-адресам, которые можно выявить с помощью анализа логов сайта.

Order Allow,Deny
Deny from 192.168.1.1
Deny from 203.0.113.0/24
Allow from all

3️⃣ Также в .htaccess можно заблокировать доступ к сайту для определённых подозрительных User-Agent.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} badbot [NC]
RewriteRule .* — [F,L]

Однако мы рекомендуем использовать такие меры по блокировке прямых заходов только в крайнем случае, например, для временной защиты от DDoS-атак. В остальных случаях лучше оставить все как есть, так как алгоритмы Google довольно быстро вычисляют негативных и агрессивных ботов, действующих через прямые заходы и игнорирует их при составлении оценки качества страниц сайта.

Еще по теме:

• Одна большая статья и подстатьи: есть ли смысл для SEO сегодня?
Я общался с чатом gpt, и он посоветовал такую схему: делать одну большую главную статью примерно на 2500 слов, а затем разбивать ее на несколько...
• Надо ли прописывать alt-ы для картинок-анкоров?
Есть сайт, у которого внутренняя перелинковка реализована через картинки, т.е. текстовых ссылок очень мало и они ведут на основные разделы только. Нужно ли прописывать alt...
• Коммерческие факторы ранжирования Яндекса. Как стать лучше конкурентов
Недавно обратили внимание, что тема коммерческих факторов ранжирования не достаточно раскрыта на нашем блоге и, разумеется, решили исправить это. Мы расскажем, что же такое коммерческие факторы, а...
• Как объединить семантику для одного товара с несколькими значениями ключевых слов на главной посадочной странице?
Планирую создать промосайт/интернет-магазин одного товара — около 10 страниц: главная посадочная и разделы — фото, видео, доставка, отзывы, гарантия, вопросы и т.д. Товар — яркий...
• Микроразметка в Яндекс и Google. Как и зачем её использовать
Чтобы подсказать поисковой системе, какая информация должна быть в сниппете, и привлечь большее количество посетителей/клиентов на сайт, используйте разметку данных. В статье мы расскажем, как...