Когда стоит блокировать заходы ботов на сайт?

Ответ

Сами по себе прямые заходы ботов не должны напрямую влиять на органическую видимость сайта. Если эти боты не замедляют ваш сайт, не влияют на стабильность и доступность работы вашего сайта и сервера, и позиции сайта остаются на том же уровне, то мы не рекомендуем предпринимать какие-либо действия.

С ростом трафика на сайте — рост активности различных ботов вполне закономерен. Дело в том, чем выше видимость вашего сайта в поиске, тем чаще его будут посещать различные белые и серые боты:

— Боты поисковых систем;
— Боты-агрегаторы;
— Боты бизнес-аналитики;
— Боты для мониторинга сайта;
— Чат-боты;
— Боты-сканеры;
— Боты-скраперы;
— Спам-боты;
— DDoS-боты.

Если же вы видите, что такая активность ботов действительно вредит вашему сайту (проблемы с производительностью, высокий показатель отказов, внезапные скачки трафика, ненормальная продолжительность сеанса), то сначала важно убедиться, что это действительно вредоносные боты. Сделать это можно с помощью изучения логов.

Есть несколько распространенных вариантов, которые можно предпринять для борьбы с вредоносными ботами:

• Блокировка по отдельным IP-адресам этих ботов вручную или автоматизировав процесс у себя на сервере.
• Использовать CloudFlare, настроив функцию Bot Fight Mode. Также желательно создать фильтр юзер агентов с брандмауэром CloudFlare (WAF).

Но важно помнить, что любая блокировка может привести к нежелательным последствиям, таким как ограничение доступа к сайту реальным юзерам и ботам поисковиков. И вот это уже может негативно повлиять на SEO и снизить посещаемость ресурса. Поэтому важно сбалансировано подходить к настройке фильтров и правил блокировки, учитывая возможные положительные и отрицательные последствия.

Еще по теме:

• Как заблокировать пользователей из конкретной страны?
Подскажите, пожалуйста, как отрезать юзеров на сайт из конкретной страны? Какой код отдавать юзеру, чтобы сайт начал проседать в выдаче "страны"? При этом для бота...
• Как строить стратегию продвижения в высококонкурентных нишах?
Как только захожу в ТОП-20 по каким-то запросам на сайт начинается атака ботов. Предполагаю, что ниша очень крутится. Скажите, как можно строить свою стратегию продвижения...
• Могут ли прямые переходы положительно влиять на ранжирование сайта?
Могут ли прямые переходы положительно влиять на ранжирование сайта? Сейчас заметил скачок прямых переходов, но с нормальными ПФ, это тоже накрутка и их нужно заблокировать?...
• Как защитить брендовый трафик казино в Яндекс
Брендовый трафик казино и любой другой компании - это горячие клиенты, которые прямо сейчас набирают брендовый запрос чтобы воспользоваться услугами данной компании. Из-за регулярных блокировок...
• Можно ли восстановить позиции сайта после атаки ботов с помощью скрипта отложенной загрузки метрик?
Возможно ли улучшить позиции сайта, просевшие после атаки ботов с помощью скрипта отложенной загрузки метрик при совершении действия на сайте (например, нажатия на кнопку окна,...

---

Андрей М.

SEO-аналитик

Как только познакомился с SEO, возможности оказывать влияние на продвижение сайта и безграничного личного развития впечатлили настолько, что теперь не представляю, как мог заниматься чем либо ещё в жизни.

Увлекаюсь квестами, загадками и настольными играми.

Девиз: Carpe diem

am@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)