Что делать, если сайт попал под фильтр за обман пользователей мобильного интернета

102

38

28

36

Почему Яндекс накладывает фильтр за обман пользователей мобильного интернета, какие симптомы и возможные причины фильтра, как их выявить и постараться устранить.

30 апреля 2015 Яндекс «объявил войну» сайтам, которые обманывают пользователей мобильного интернета. Спустя месяц посыпалась череда негодований и возмущений от владельцев сайтов о резком снижении посещаемости. Причины были не совсем понятны, а ответы Платона, как всегда, сдержанные и «сухие», причина – «обман пользователей мобильного интернета». 

Многих вебмастеров такой ответ ввел в ступор, так как проверка сайта с мобильного устройства не давала никаких результатов – по их мнению, сайты были «белыми и пушистыми». Как выяснилось позже, фильтр реагировал на «слив» определенного мобильного трафика. 

При этом статистика ресурса при пессимизации выглядит примерно так – сайт теряет около 80% трафика:

«Провал» наблюдается на всех страницах:

Как показывает практика, страдают от данного фильтра зачастую развлекательные и информационные ресурсы, которые размещают у себя вредоносные скрипты партнерок или устанавливают взломанные плагины/модули. 

Главная причина фильтра – мобильный редирект (серверный, пользовательский) – автоматическое перенаправление пользователей на сторонние ресурсы или предложение скачать вредоносный файл.

Как диагностировать фильтр

В большинстве случаев симптомы санкций без глубокого анализа не очевидны, а «провал» можно спутать и с другими фильтрами. Поэтому первое, что необходимо сделать, – это написать письмо в техподдержку Яндекса, уточнив причины пессимизации сайта. 

Если на сайт наложен фильтр за «обман пользователей мобильного интернета», ответ Платона будет следующим:

В настоящий момент Ваш сайт ранжируется в результатах поиска с ограничениями со стороны наших алгоритмов. Он был признан ими не полностью соответствующим принципам, описанным в документах: https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml,
https://company.yandex.ru/rules/optimization/index.xml.

Недавно в наши алгоритмы были внесены значительные изменения, и теперь с ограничениями могут ранжироваться сайты, обманывающие пользователей мобильного интернета. Иногда такие пользователи при переходе на сайты из результатов поиска не могут получить найденную для них информацию. Это происходит из-за того, что некоторые сайты не показывают таким пользователям тот контент, который был проиндексирован поисковым роботом. А часто просто перенаправляют посетителей на страницы с подпиской на платные контент-услуги. Подробнее об этом Вы можете прочитать на страницах нашего блога: https://webmaster.ya.ru/replies.xml?item_no=20239.

Если Вы будете развивать Ваш сайт для пользователей, размещать уникальную, полезную информацию и следовать нашим рекомендациям, то со временем ограничения могут быть сняты автоматически, и позиции сайта в результатах поиска улучшатся.

Как обнаружить мобильный редирект

Казалось бы, все просто – взять мобильное устройство и посмотреть сайт, но сложность заключается в типах мобильного редиректа и их организации. 

Перенаправление может срабатывать не всегда, а только при определенных условиях, например, определенный user-agent, ip-адрес, время, месторасположение юзера, мобильный оператор, с какой поисковой системы пришел пользователь. 

Типы редиректов:

1. Один из самых простых и распространенных редиректов – серверный. 

Идентификация посетителей происходит по user-agent мобильного устройства. Вредоносный код может прописываться в техническом файле .htaccess (находится в корне сайта) либо в шаблоне сайта CMS-системы. В довольно редких случаях в файле конфигурации сервера httpd.conf для Apache (при взломах сервера).

Пример вредоносного кода в файле .htaccess:

Пример кода в шаблоне сайта:

Как воспроизвести серверный редирект?

Один из возможных способов – использовать специальный плагин User-Agent Switcher for Chrome, который эмулирует разные устройства, подменяя серверный заголовок User-Agent (т.е. этот плагин позволит вам посмотреть, как выглядит сайт с разных устройств).

В масштабных настройках плагин не нуждается. По умолчанию он содержит небольшой список User-Agentов, который можно расширить, экспортировав дополнительный userlist. 

В результате экспорта получим обширный перечень User-Agentов, которые в дальнейшем сможем использовать для просмотра нашего сайта. 

Как использовать:

1. Полностью чистим кеш и cookies браузера.
2. Из выпадающего списка плагина выбираем мобильный девайс, который хотим эмулировать (например, Android). 
3. Идем в Яндекс, находим наш сайт и переходим на него.

Важно отметить, что для разных устройств редирект может быть как автоматический, так и ручной. Все зависит от сложности мобильного редиректа. В нашем случае видим вот такое сообщение:

Сайт предлагает пользователям скачать бесплатное приложение, по факту это может мобильный вирус или расширение, за которое придется платить (отправить SMS). Таким образом пользователей вводят в заблуждение, предоставляя им неправдивую информацию. Это один из простых примеров, который обнаружить довольно просто.

Как устранить такую проблему? 

Основная проблема – это воспроизвести редирект, то есть узнать, куда происходит перенаправление. На это может понадобиться довольно много времени. Более того, редирект может быть не всегда серверным. Однако, если URL сайта, на который идет перенаправление, был обнаружен, то:

1. Скачиваем сайт на локальный диск (большинство хостеров позволяет сделать это штатными средствами – создаем архив и скачиваем на свой ПК).

2. Скачиваем файловый менеджер Total Commander, переходим в папку скачанного сайта и, с помощью поиска по файлам, находим файл с нужным текстом, например, site.ru, где site – доменное имя, куда идет редирект):

Если будет обнаружено совпадение с указанным текстом, в диалоговом окне программа подсветит пути на эти файлы. 

3. Проверяем найденные файлы на соответствие URL адреса, если есть совпадение – удаляем код, который отвечает за перенаправление. 

Важно! Будьте особо внимательны при чистке кода, чтобы не «сломать» остальной код CMS системы.

2. Пользовательский редирект – зачастую реализовывается посредством JavaScript.

Поиск данного редиректа усложнится из-за возможности кодирования кода, который не всегда можно обнаружить визуально. Данный тип редиректа устанавливается в результате взлома сайта или загружается с дополнительными модулями/плагинами. 

Пример кода:

Как обнаружить вредоносный код

Выявить вредоносный код можно с помощью сервисов:

— Сканер AI-Bolit
— Антивирус Manul от Яндекс

Устанавливаются они достаточно просто – непосредственно в корень сайта. Сканеры производят анализ всех файлов на наличие вредоносного кода. По завершению будет сформирован отчет о найденных проблемах.

Если программе удалось обнаружить вредоносный код – устраняем указанные замечания и чистим файлы от вредоносного кода. 

Однако, как бы это хорошо не звучало в теории, «найти вредоносный код одним кликом», на практике это, к сожалению, не всегда так. Бывают случаи, когда указанные сканеры проблему не решают. В таких случаях рекомендуем обращаться к компетентным программистам, которые специализируются на безопасности сайтов.

Более того, в «погоне за золотыми горами», часто владельцы сайтов сами устанавливают вредоносные коды iframe, js скрипты, которые предлагают партнерки (тизерки, кликандеры, баннеры).

Выявить такие редиректы очень сложно, срабатывают они при определённых параметрах, сливая мобильный трафик, за что и фильтруются поисковыми системами Яндекс и Google (маскировка и/или скрытая переадресация).

Неофициальный список таких партнерских программ был собран пользователями здесь.

Поэтому будьте особенно внимательны при монетизации своих ресурсов! Если на вашем сайте установлен код одной из перечисленных партнерок, его необходимо в обязательном порядке снять.

Заключение

Обычно после устранения причин фильтр снимается автоматически после переиндексации страниц сайта. В противном случае, если трафик не восстанавливается в течение 3 недель, причины устранены не до конца, и необходимо проводить более тщательный анализ. 

Чтобы обезопасить себя от данного фильтра, рекомендуем:

• Скачивать модули и плагины только с официальных сайтов. Да, некоторые компоненты для вашей CMS могут быть платными, но это убережет вас от неприятных последствий.
• Ежемесячно проверять сайт на вредоносные скрипты (обязательно).
• Проводите регулярное обновление CMS системы, скачивайте обновления только с официальных сайтов (подробнее об обновлении CMS).
• Выбирая партнерские программы, внимательно читайте отзывы и «Пользовательское соглашение» – в нем иногда есть информация об арбитраже мобильного трафика (не все об этом знают).
• Если к вам напрямую «постучался» рекламодатель, постарайтесь узнать о нем как можно больше информации, возможно, от него уже пострадали многочисленные сайты. 

И последнее – старайтесь постоянно «конспектировать» вносимые на сайт корректировки (в данном контексте имеем в виду установку скриптов, модулей, плагинов, партнерок). Если сайт попадет под фильтр, это позволит сузить поиски причин, а в некоторых случаях – решить проблему гораздо быстрее. 

Еще по теме:

• Относятся ли к черным методам SEO-продвижения использование гугловых редиректов и Хрумера для создания ссылок?
Cчитаются ли "прокачка" показателя DR по ахрефс через "гугловые редиректы" и усиление доноров за счёт проставленных Хрумером на них ссылки чёрным методом SEO продвижения? Стоит...
• Как выйти из-под Пингвина: полная пошаговая инструкция
Если ваш сайт попал под фильтр Google Пингвин, нужно снимать все некачественные ссылки. Как это сделать и какие советы помогут вам в работе – читайте...
• Яндекс отвечает на вопросы о фильтре за накрутку ПФ: «Полгода — раньше никто не будет смотреть ваш сайт»
Представитель Яндекса Сергей Певцов в первый день конференции All in Top Conf 2015 ответил на вопросы оптимизаторов о фильтре за накрутку поведенческих факторов. Какие вопросы ему...
• Как защитить основной сайт от фильтров из-за раздела со взрослым контентом?
У нас на сайте есть раздел с взрослым контентом. Как можно обезопасить остальной сайт, чтобы не попасть под фильтр? Можно ли как-то оптимизировать этот раздел,...
• Аудит сайта на поисковый спам. Чистим сайт от переоптимизации
Делая аудиты, мы часто сталкиваемся со случаями переоптимизации, и поэтому решили поделиться опытом ее выявления и рассказать, как очистить сайт от поискового спама. Каждый случай...

---

Руслан Калинин

SEO-аналитик

Оцените мою статью: 

(15 оценок, среднее: 4,40 из 5)