Как через htaccess или другим способом запретить прямые заходы на сайт?

Ответ

Полный запрет прямых заходов на сайт может быть контрпродуктивным с точки зрения SEO и, действительно, может негативно повлиять на позиции, а иногда и на индексацию.

• Многие постоянные пользователи могут знать ваш домен и заходить на сайт напрямую. Если закрыть такую возможность, можно потерять реальных посетителей, а также негативно скажется на поведенческих факторах.
• Некоторые соцсети, мессенджеры, почтовые сервисы и другие площадки могут не всегда передавать корректный реферер, в результате чего и эти пользователи столкнутся с блокировкой.
• Иногда поисковые боты не передают реферер в заголовках при обходе страниц. Если заблокировать все заходы без реферера, есть вероятность, что некоторые роботы ПС не смогут сканировать сайт и начнутся проблемы с индексацией. Также и блокировка по IP-адресам может привести к тому, что поисковые роботы не смогут проиндексировать ваш сайт, если их IP-адреса попадут в черный список.

Через .htaccess в основном можно заблокировать прямые заходы тремя способами:

1️⃣ Использование директивы RewriteEngine и RewriteCond для проверки HTTP-заголовка Referer. Если заголовок отсутствует или не соответствует разрешенным значениям, можно перенаправлять пользователя на другую страницу или выдавать ошибку.

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?yourdomain\.com [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule .* — [F,L]

2️⃣ Блокировка по подозрительным IP-адресам, которые можно выявить с помощью анализа логов сайта.

Order Allow,Deny
Deny from 192.168.1.1
Deny from 203.0.113.0/24
Allow from all

3️⃣ Также в .htaccess можно заблокировать доступ к сайту для определённых подозрительных User-Agent.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} badbot [NC]
RewriteRule .* — [F,L]

Однако мы рекомендуем использовать такие меры по блокировке прямых заходов только в крайнем случае, например, для временной защиты от DDoS-атак. В остальных случаях лучше оставить все как есть, так как алгоритмы Google довольно быстро вычисляют негативных и агрессивных ботов, действующих через прямые заходы и игнорирует их при составлении оценки качества страниц сайта.

Еще по теме:

• Как уменьшить потерю трафика после смены урлов товаров в ключевых категориях?
Из-за технической ошибки (при импорте файла с товарами на сайт) изменились урлы у товаров в ключевых категориях. Редиректы на новые адреса настроились на сайте автоматически....
• Внутренняя оптимизация интернет-магазина
Настройка фильтров, пагинации, сортировки каталога Формирование URL интернет-магазина Оптимизация URL страниц каталога Оптимизация страниц сортировки Оптимизация страниц фильтров интернет-магазина Оптимизация страниц пагинации Причины закрытия генерируемых...
• Как отследить трафик из поиска по изображениям и как оптимизировать изображения для попадания в выдачу?
Как понять переходят ли на страницу из поиска по изображениям? Как нужно оптимизировать изображения, для попадания в поиск по изображению? Ответ Самый простой способ отследить...
• Почему в тревел блогах вложенность URL не соответствует вложенности структуры сайта?
Вопрос по блогу. Хотим создать свой тревел-блог и вижу, что все блоги имеют одинаковую структуру такого формата (отображается весь путь категории из 3-4 папок. Но...
• Как эффективнее организовать добавление отзывов к товарам в крупном интернет-магазине??
Большой интернет-магазин, примерно 10 000 карточек товаров. Есть идея сделать в карточке товара кнопку "Отзывы" и при её нажатии пользователя будет перенаправлять на страницу отзывов...