Что делать, если сайт попал под фильтр за обман пользователей мобильного интернета

30 апреля 2015 Яндекс «объявил войну» сайтам, которые обманывают пользователей мобильного интернета. Спустя месяц посыпалась череда негодований и возмущений от владельцев сайтов о резком снижении посещаемости. Причины были не совсем понятны, а ответы Платона, как всегда, сдержанные и «сухие», причина – «обман пользователей мобильного интернета». 

Многих вебмастеров такой ответ ввел в ступор, так как проверка сайта с мобильного устройства не давала никаких результатов – по их мнению, сайты были «белыми и пушистыми». Как выяснилось позже, фильтр реагировал на «слив» определенного мобильного трафика. 

При этом статистика ресурса при пессимизации выглядит примерно так – сайт теряет около 80% трафика:

1_proval_yandex

«Провал» наблюдается на всех страницах:

2_proval_yandex

Как показывает практика, страдают от данного фильтра зачастую развлекательные и информационные ресурсы, которые размещают у себя вредоносные скрипты партнерок или устанавливают взломанные плагины/модули. 

Главная причина фильтра – мобильный редирект (серверный, пользовательский) – автоматическое перенаправление пользователей на сторонние ресурсы или предложение скачать вредоносный файл.

Как диагностировать фильтр

В большинстве случаев симптомы санкций без глубокого анализа не очевидны, а «провал» можно спутать и с другими фильтрами. Поэтому первое, что необходимо сделать, – это написать письмо в техподдержку Яндекса, уточнив причины пессимизации сайта

Если на сайт наложен фильтр за «обман пользователей мобильного интернета», ответ Платона будет следующим:

В настоящий момент Ваш сайт ранжируется в результатах поиска с ограничениями со стороны наших алгоритмов. Он был признан ими не полностью соответствующим принципам, описанным в документах: https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml,
http://company.yandex.ru/rules/optimization/index.xml.

Недавно в наши алгоритмы были внесены значительные изменения, и теперь с ограничениями могут ранжироваться сайты, обманывающие пользователей мобильного интернета. Иногда такие пользователи при переходе на сайты из результатов поиска не могут получить найденную для них информацию. Это происходит из-за того, что некоторые сайты не показывают таким пользователям тот контент, который был проиндексирован поисковым роботом. А часто просто перенаправляют посетителей на страницы с подпиской на платные контент-услуги. Подробнее об этом Вы можете прочитать на страницах нашего блога: http://webmaster.ya.ru/replies.xml?item_no=20239.

Если Вы будете развивать Ваш сайт для пользователей, размещать уникальную, полезную информацию и следовать нашим рекомендациям, то со временем ограничения могут быть сняты автоматически, и позиции сайта в результатах поиска улучшатся.

Как обнаружить мобильный редирект

Казалось бы, все просто – взять мобильное устройство и посмотреть сайт, но сложность заключается в типах мобильного редиректа и их организации. 

Перенаправление может срабатывать не всегда, а только при определенных условиях, например, определенный user-agent, ip-адрес, время, месторасположение юзера, мобильный оператор, с какой поисковой системы пришел пользователь. 

Типы редиректов:

1. Один из самых простых и распространенных редиректов – серверный. 

Идентификация посетителей происходит по user-agent мобильного устройства. Вредоносный код может прописываться в техническом файле .htaccess (находится в корне сайта) либо в шаблоне сайта CMS-системы. В довольно редких случаях в файле конфигурации сервера httpd.conf для Apache (при взломах сервера).

Пример вредоносного кода в файле .htaccess:
3_htacsses

Пример кода в шаблоне сайта:
4_v-shablone

Как воспроизвести серверный редирект?

Один из возможных способов – использовать специальный плагин User-Agent Switcher for Chrome, который эмулирует разные устройства, подменяя серверный заголовок User-Agent (т.е. этот плагин позволит вам посмотреть, как выглядит сайт с разных устройств).

В масштабных настройках плагин не нуждается. По умолчанию он содержит небольшой список User-Agentов, который можно расширить, экспортировав дополнительный userlist

5_export

В результате экспорта получим обширный перечень User-Agentов, которые в дальнейшем сможем использовать для просмотра нашего сайта. 

6_plagin

Как использовать:

1. Полностью чистим кеш и cookies браузера.
2. Из выпадающего списка плагина выбираем мобильный девайс, который хотим эмулировать (например, Android). 
3. Идем в Яндекс, находим наш сайт и переходим на него.

Важно отметить, что для разных устройств редирект может быть как автоматический, так и ручной. Все зависит от сложности мобильного редиректа. В нашем случае видим вот такое сообщение:
7_android_mobile

Сайт предлагает пользователям скачать бесплатное приложение, по факту это может мобильный вирус или расширение, за которое придется платить (отправить SMS). Таким образом пользователей вводят в заблуждение, предоставляя им неправдивую информацию. Это один из простых примеров, который обнаружить довольно просто.

Как устранить такую проблему? 

Основная проблема  это воспроизвести редирект, то есть узнать, куда происходит перенаправление. На это может понадобиться довольно много времени. Более того, редирект может быть не всегда серверным. Однако, если URL сайта, на который идет перенаправление, был обнаружен, то:

1. Скачиваем сайт на локальный диск (большинство хостеров позволяет сделать это штатными средствами – создаем архив и скачиваем на свой ПК).

2. Скачиваем файловый менеджер Total Commander, переходим в папку скачанного сайта и, с помощью поиска по файлам, находим файл с нужным текстом, например, site.ru, где site – доменное имя, куда идет редирект):

8_totalЕсли будет обнаружено совпадение с указанным текстом, в диалоговом окне программа подсветит пути на эти файлы. 

3. Проверяем найденные файлы на соответствие URL адреса, если есть совпадение – удаляем код, который отвечает за перенаправление. 

Важно! Будьте особо внимательны при чистке кода, чтобы не «сломать» остальной код CMS системы.

2. Пользовательский редирект – зачастую реализовывается посредством JavaScript.

Поиск данного редиректа усложнится из-за возможности кодирования кода, который не всегда можно обнаружить визуально. Данный тип редиректа устанавливается в результате взлома сайта или загружается с дополнительными модулями/плагинами. 

Пример кода:
10_js

Как обнаружить вредоносный код

Выявить вредоносный код можно с помощью сервисов:

- Сканер AI-Bolit
- Антивирус Manul от Яндекс

Устанавливаются они достаточно просто  непосредственно в корень сайта. Сканеры производят анализ всех файлов на наличие вредоносного кода. По завершению будет сформирован отчет о найденных проблемах.

Если программе удалось обнаружить вредоносный код – устраняем указанные замечания и чистим файлы от вредоносного кода. 

Однако, как бы это хорошо не звучало в теории, «найти вредоносный код одним кликом», на практике это, к сожалению, не всегда так. Бывают случаи, когда указанные сканеры проблему не решают. В таких случаях рекомендуем обращаться к компетентным программистам, которые специализируются на безопасности сайтов.

Более того, в «погоне за золотыми горами», часто владельцы сайтов сами устанавливают вредоносные коды iframe, js скрипты, которые предлагают партнерки (тизерки, кликандеры, баннеры).

Выявить такие редиректы очень сложно, срабатывают они при определённых параметрах, сливая мобильный трафик, за что и фильтруются поисковыми системами Яндекс и Google (маскировка и/или скрытая переадресация).

Неофициальный список таких партнерских программ был собран пользователями здесь.

Поэтому будьте особенно внимательны при монетизации своих ресурсов! Если на вашем сайте установлен код одной из перечисленных партнерок, его необходимо в обязательном порядке снять.

Заключение

Обычно после устранения причин фильтр снимается автоматически после переиндексации страниц сайта. В противном случае, если трафик не восстанавливается в течение 3 недель, причины устранены не до конца, и необходимо проводить более тщательный анализ. 

Чтобы обезопасить себя от данного фильтра, рекомендуем:

  • Скачивать модули и плагины только с официальных сайтов. Да, некоторые компоненты для вашей CMS могут быть платными, но это убережет вас от неприятных последствий.
  • Ежемесячно проверять сайт на вредоносные скрипты (обязательно).
  • Проводите регулярное обновление CMS системы, скачивайте обновления только с официальных сайтов (подробнее об обновлении CMS).
  • Выбирая партнерские программы, внимательно читайте отзывы и «Пользовательское соглашение» – в нем иногда есть информация об арбитраже мобильного трафика (не все об этом знают).
  • Если к вам напрямую «постучался» рекламодатель, постарайтесь узнать о нем как можно больше информации, возможно, от него уже пострадали многочисленные сайты. 

И последнее – старайтесь постоянно «конспектировать» вносимые на сайт корректировки (в данном контексте имеем в виду установку скриптов, модулей, плагинов, партнерок). Если сайт попадет под фильтр, это позволит сузить поиски причин, а в некоторых случаях – решить проблему гораздо быстрее. 

Оцените статью: 
1 Star2 Stars3 Stars4 Stars5 Stars (Голосов: 9. Рейтинг: 5,00 из 5)
Loading...Loading...

Автор: Руслан Калинин, SEO-аналитик

r.kalinin@siteclinic.ru

Что делать, если сайт попал под фильтр за обман пользователей мобильного интернета: 6 комментариев

  1. Я так пару раз на подписку попадал, она во фрейме была и сама активировалась. Гореть в аду тем, кто сливает так трафик

  2. С сентября уже дважды яндекс выключал трафик на сайте из-за этого мобильного обмана. Сейчас опять вернули траф, но я так и не понял в чем причина. Что-то наудалял наобум, какие-то плагины тоже удалил. Где-то читал, что плагин кэширования Hyper Cache может быть причастен. Это возможно?

    • Такая вероятность есть, если файлы плагина были подвержены модификации. Однако утверждать на 100%, что проблемы связаны иммено с Hyper Cache, сложно. На проектах, с которыми работал, данный плагин стоял — указаных проблем не наблюдалось. Проверьте полностью сайт на вирусы.

      • Проверял айболитом. Вышло очень много ругательств, включая даже ноиндекс. Сложно установить, что именно влияет. Когда первый раз яндекс убрал сайт из выдачи, находил неизвестный скрипт _shareclods.com/pict.jpg_. Тогда убрал его, но 3 недели назад опять за то же самое лишили трафика, причем скрипта этого не было. Вчера восстановили, но в чем причина, так и не понял.

  3. Здравсвуйте. У меня аналогичная ситуация. Спасибо за внятуню статью. Не знаю как найти вредоносный код, командером пробовал еще до прочтения вашей статьи но все тщетно. Помогите если можете. Спасибо.

    • Алекс, добрый день. Сложно помочь, не видя пациента, оставьте, пожалуйста, заявку, посмотрим. Но при этом важно отметить, что иногда визуальный осмотр сайта не дает положительных результатов, а потому нужно анализировать исходный код. Как вариант, если предложеные в статье сервисы не обнаружили причины, попробуйте восстановить резервную копию сайта до "просадки" трафика.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *