Когда стоит блокировать заходы ботов на сайт?

Ответ

Сами по себе прямые заходы ботов не должны напрямую влиять на органическую видимость сайта. Если эти боты не замедляют ваш сайт, не влияют на стабильность и доступность работы вашего сайта и сервера, и позиции сайта остаются на том же уровне, то мы не рекомендуем предпринимать какие-либо действия.

С ростом трафика на сайте — рост активности различных ботов вполне закономерен. Дело в том, чем выше видимость вашего сайта в поиске, тем чаще его будут посещать различные белые и серые боты:

— Боты поисковых систем;
— Боты-агрегаторы;
— Боты бизнес-аналитики;
— Боты для мониторинга сайта;
— Чат-боты;
— Боты-сканеры;
— Боты-скраперы;
— Спам-боты;
— DDoS-боты.

Если же вы видите, что такая активность ботов действительно вредит вашему сайту (проблемы с производительностью, высокий показатель отказов, внезапные скачки трафика, ненормальная продолжительность сеанса), то сначала важно убедиться, что это действительно вредоносные боты. Сделать это можно с помощью изучения логов.

Есть несколько распространенных вариантов, которые можно предпринять для борьбы с вредоносными ботами:

• Блокировка по отдельным IP-адресам этих ботов вручную или автоматизировав процесс у себя на сервере.
• Использовать CloudFlare, настроив функцию Bot Fight Mode. Также желательно создать фильтр юзер агентов с брандмауэром CloudFlare (WAF).

Но важно помнить, что любая блокировка может привести к нежелательным последствиям, таким как ограничение доступа к сайту реальным юзерам и ботам поисковиков. И вот это уже может негативно повлиять на SEO и снизить посещаемость ресурса. Поэтому важно сбалансировано подходить к настройке фильтров и правил блокировки, учитывая возможные положительные и отрицательные последствия.

Еще по теме:

• Как через htaccess или другим способом запретить прямые заходы на сайт?
Как через htaccess или другим способом можно запретить прямые заходы на сайт? И может ли это отразиться на индексации и позициях? Ответ Полный запрет прямых...
• Может ли атака ботов на сайт повлиять на его позиции?
Проблема следующая - сайт начали атаковывать боты (заход на одну и ту же страницу, одни и те же действия). Но показатели время, глубина, отказы хорошие....
• Можно ли восстановить позиции сайта после атаки ботов с помощью скрипта отложенной загрузки метрик?
Возможно ли улучшить позиции сайта, просевшие после атаки ботов с помощью скрипта отложенной загрузки метрик при совершении действия на сайте (например, нажатия на кнопку окна,...
• Влияние различных источников трафика на позиции сайта
Есть ли разница между источниками трафика в плане влияния на позиции в поиске? Например, трафик из соц. сетей, контекста или поиска, брендовый трафик или когда...
• Просадка в Яндексе из-за прямых переходов: как решить проблему и вернуть позиции
Несколько месяцев назад резко выросло количество прямых переходов на сайт, при этом сайт просел в Яндексе. Было выявлено, что визиты происходят на 2 конкретных урла....

---

Андрей М.

SEO-аналитик

Как только познакомился с SEO, возможности оказывать влияние на продвижение сайта и безграничного личного развития впечатлили настолько, что теперь не представляю, как мог заниматься чем либо ещё в жизни.

Увлекаюсь квестами, загадками и настольными играми.

Девиз: Carpe diem

am@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)