Когда стоит блокировать заходы ботов на сайт?

Ответ

Сами по себе прямые заходы ботов не должны напрямую влиять на органическую видимость сайта. Если эти боты не замедляют ваш сайт, не влияют на стабильность и доступность работы вашего сайта и сервера, и позиции сайта остаются на том же уровне, то мы не рекомендуем предпринимать какие-либо действия.

С ростом трафика на сайте — рост активности различных ботов вполне закономерен. Дело в том, чем выше видимость вашего сайта в поиске, тем чаще его будут посещать различные белые и серые боты:

— Боты поисковых систем;
— Боты-агрегаторы;
— Боты бизнес-аналитики;
— Боты для мониторинга сайта;
— Чат-боты;
— Боты-сканеры;
— Боты-скраперы;
— Спам-боты;
— DDoS-боты.

Если же вы видите, что такая активность ботов действительно вредит вашему сайту (проблемы с производительностью, высокий показатель отказов, внезапные скачки трафика, ненормальная продолжительность сеанса), то сначала важно убедиться, что это действительно вредоносные боты. Сделать это можно с помощью изучения логов.

Есть несколько распространенных вариантов, которые можно предпринять для борьбы с вредоносными ботами:

• Блокировка по отдельным IP-адресам этих ботов вручную или автоматизировав процесс у себя на сервере.
• Использовать CloudFlare, настроив функцию Bot Fight Mode. Также желательно создать фильтр юзер агентов с брандмауэром CloudFlare (WAF).

Но важно помнить, что любая блокировка может привести к нежелательным последствиям, таким как ограничение доступа к сайту реальным юзерам и ботам поисковиков. И вот это уже может негативно повлиять на SEO и снизить посещаемость ресурса. Поэтому важно сбалансировано подходить к настройке фильтров и правил блокировки, учитывая возможные положительные и отрицательные последствия.

Еще по теме:

• Как строить стратегию продвижения в высококонкурентных нишах?
Как только захожу в ТОП-20 по каким-то запросам на сайт начинается атака ботов. Предполагаю, что ниша очень крутится. Скажите, как можно строить свою стратегию продвижения...
• Как заблокировать пользователей из конкретной страны?
Подскажите, пожалуйста, как отрезать юзеров на сайт из конкретной страны? Какой код отдавать юзеру, чтобы сайт начал проседать в выдаче "страны"? При этом для бота...
• Просадка в Яндексе из-за прямых переходов: как решить проблему и вернуть позиции
Несколько месяцев назад резко выросло количество прямых переходов на сайт, при этом сайт просел в Яндексе. Было выявлено, что визиты происходят на 2 конкретных урла....
• Если % ботового трафика менее 20, стоит что-то делать с накруткой ПФ?
На сайте ИМ последние пару месяцев наблюдается увеличение прямого трафика + не из нашего региона, сделали вывод что боты, накрутка. Скажите, если % такого трафика...
• Влияние различных источников трафика на позиции сайта
Есть ли разница между источниками трафика в плане влияния на позиции в поиске? Например, трафик из соц. сетей, контекста или поиска, брендовый трафик или когда...

---

Андрей М.

SEO-аналитик

Как только познакомился с SEO, возможности оказывать влияние на продвижение сайта и безграничного личного развития впечатлили настолько, что теперь не представляю, как мог заниматься чем либо ещё в жизни.

Увлекаюсь квестами, загадками и настольными играми.

Девиз: Carpe diem

am@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)