Быстровыдача Яндекса. Как привлечь быстробота

• Быстровыдача и её виды
• Какой бот индексирует, как его отследить
• Какой контент попадает в быстровыдачу
• Как оптимизировать контент, чтобы попасть в быстровыдачу
• Проблема индексации быстроботом
• Заключение
  

Думаю, каждый веб-мастер или владелец хотел бы, чтобы страницы его сайта как можно скорее попадали в индекс и приносили трафик.
Это стало возможным. 9 июля 2010 года Яндекс представил решение в виде быстровыдачи. Не стоит спешить радоваться, всё не так просто, как хотелось бы. У быстровыдачи много нюансов, к тому же не все ресурсы могут попасть в неё. Ниже рассмотрим, что такое быстровыдача, как стать одним из избранных, которымпозволено в неё попасть.

Быстровыдача и её виды

Быстровыдача – это технология Яндекса, которая добавляет (подмешивает) в индекс документы в течение нескольких минут после
их появления на сайте. Она использует отдельный алгоритм ранжирования, при расчёте которого учитываются только внутренние
факторы.

Пример быстровыдачи

Срок жизни быстровыдачи – 3 дня. После этого страницы, которые в неё попали, индексирует основной бот. На них действует уже
основной алгоритм ранжирования, после вычисления которого страница занимает соответствующую позицию в выдаче.

Ранее быстровыдача делилась на 2 типа: Ultra и обычная. Ultra находилась в выдаче до 3 часов, затем переходила в обычную, которая жила до 3 дней.

Их можно было определить по следующим показателям:

Ultra – через сохранённую копию страницы, в адресе которой находился параметр «src=FT».

Пример адреса сохранённой копии со значением «src=FT»

Обычная определялась через Яндекс.XML, в котором значение size = 0.

Пример XML-кода со значением size=0

Сейчас такими способами нельзя определить, к какому типу относится та или иная страница быстровыдачи (кроме просмотра даты добавления).

В Ultra показатель «src=FT» в сохранённой копии появляется без привязки ко времени добавления. Он может появиться, если документ был добавлен вчера, и не появиться, если добавлен час назад и наоборот.

Таблица наличия показателя «src=FT» в выдаче по запросу «испания швейцария прогноз матча»

С обычной быстровыдачей всё также, как и с Ultra: у части страниц есть значение size 0, а у части – нет. В этом случае также нет привязки ко времени добавления.

Узнать, что страница попала в быстроиндекс, можно двумя способами:

1. Через оператор url:адрес страницы.

Пример применения оператора url:

2. Через запрос, который относится к странице.

Поиск страницы в быстровыдаче через запрос

Также стоит сказать, что позиции в быстровыдаче постоянно меняются. Это затрудняет их анализ. Так, позиции могут изменяться каждые 5 минут.

Таблица сравнения позиций

Какой бот индексирует и как его отследить

Для быстровыдачи есть специальный бот – Orange. Он работает в режиме реального времени, обходит сайты, смотрит на новые страницы, обрабатывает их и сразу добавляет в индекс.

Хоть мы и знаем, какой бот относится к быстровыдаче, увидеть его не получится. Дело в том, что он «парень стеснительный», поэтому краулит сайт под видом обычного поискового бота.

Ответ техподдержки

Чтобы понять, что бот заходил на сайт, нужно открыть логи. Не стоит смотреть страницы, которые были добавлены неделю назад.
Лучше обратить внимание на те, которые были добавлены в течение дня, максимум двух.

Пример логов

Посмотреть, заходил ли бот на сайт, также можно через Вебмастер. Для этого следует перейти во вкладку «Индексирование», выбрать пункт «Статистика обхода» → «Все». После этого выгрузить список страниц, которые обошёл бот.

Скриншот из Вебмастера «Статистика обхода»

Таким образом, появляется возможность проверить, на какие страницы заходил краулер. Эти решения целесообразно применять, когда на сайте возникают проблемы с индексацией страниц быстроботом.

Какой контент попадает в быстровыдачу

В быстровыдачу попадают событийные страницы – страницы, контент которых освещает событие, которое произойдёт или уже произошло в определённый день. Следовательно, есть 3 основных типы сайтов, которые попадают под эту категорию:

1. Новостные сайты.
2. Букмекерские сайты.
3. Сайты трансляций.

Кроме общей тематики страницы, есть ряд критериев, которые учитываются при попадании в быстровыдачу:

1. Частота обновления контента.
2. Качество страниц, контента и сайта в целом.
3. Отсутствие технических ошибок, влияющих на индексацию.

Благодаря критерию частоты обновления контента, быстробот периодически путается и добавляет в индекс страницы, которые никак не относятся к событийной тематике. Например, интернет-магазин часто добавлял новые карточки товаров, быстробот ошибся и добавил некоторые страницы в быстровыдачу.

Пример страниц интернет-магазина в быстровыдаче

Для желающих попасть в ТОП, создавая много страниц под ВЧ/СЧ запросы, и собирать трафик с помощью быстровыдачи у меня есть печальная новость – алгоритм довольно точно определяет принадлежность страницы к событию. Если она не подходит к этой категории, будет находиться явно не на ТОПовых позициях в быстровыдаче.

Как оптимизировать контент, чтобы попасть в быстровыдачу

Так как быстровыдача использует в ранжировании только внутренние факторы, следует уделять внимание качеству контента и отсутствию технических ошибок, которые могут затруднить индексацию или негативно повлиять на ранжирование.

В целом оптимизация страниц под быстровыдачу не сильно отличается от обычной, но есть основной нюанс – не получится собрать полноценную семантику для страниц. Может совсем не быть запросов под событие. В таком случае возникают «танцы с бубном».
В самом плохом положении, на мой взгляд, оказались новостные сайты, которые, в отличие от тех же букмекерских и сайтов трансляций, не могут делать заголовки по определённому шаблону.

Также не забываем, что в быстровыдаче хаотичные позиции. Чтобы закрепиться в ТОПе, нужен качественный контент и страница.

Теперь рассмотрим, как оптимизировать страницу, чтобы попасть в быстровыдачу.

Title и Description
– как обычно, не спамим, всё должно быть чётко и логично. Единственный нюанс – так как чаще всего событие закрепляется за какой-то определённой датой, нужно вписать её в эти теги. Например:

Title: Франция — Италия прогноз футбольного матча за 01.06.2018

Description: Прогноз на товарищеский матч сборных Франции и Италии, который пройдет 1 июня 2018 года в Ницце.

Заголовок H1
– также есть небольшая особенность заполнения. При его составлении желательно использовать глаголы.

Например: «Франция — Италия: ждем голов в Ницце» или «Франция — Италия: победит ли Италия?».

Контент
– с ним следует быть внимательнее. Чтобы понять, каким должен быть контент, следует проанализировать ТОП. Так как позиции в быстровыдаче постоянно меняются, следует обращать внимание на те сайты, чьи показатели более-менее стабильны. При анализе выдачи по запросам будет видно, какие сайты стабильно занимают ТОПовые позиции в быстровыдаче. Их позиции либо не меняются в течение дня, либо меняются незначительно – на 1–2 пункта. Отбираем такие сайты и смотрим:

• Количество текста, насколько он информативен.
• Есть ли на страницах: изображения, видео или таблицы, какая в них информация.
• Обращаем внимание на мелочи, например: фото автора новости, логотипы команд (если ваш сайт о спортивных прогнозах) и
  т. д.
• Что есть на этих сайтах и чего нет на вашем.

После анализа ТОПа вы будете иметь информацию о том, каким должен быть контент.

В любом случае текст должен быть информативным, легко читаться, полностью отвечать на запрос пользователя. На страницах должна присутствовать добавочная ценность в виде изображений, видео, таблиц и тому подобного. Например, для букмекерских сайтов хорошим решением будет добавить изображение состава команд и их расположения на поле.

Пример изображения состава команд

Также нужно, чтобы была активность в комментариях на странице. Вы можете сами симулировать её или написать первый комментарий, тем самым сподвигнув других пользователей к обсуждению.

Если на сайте есть реклама, нужно быть осторожным, придерживаться следующих правил:

• реклама не должна быть похожа на элементы интерфейса;
• реклама должна быть качественной (не должно быть сообщений, например: «похудей за один день…» или «это средство лечит от всего…»;
• рекламные блоки не должны мешать просматривать контент вашего сайта, их не должно быть много на странице.

С технической точки зрения, важно, чтобы на сайте отсутствовали дубли, не было проблем с индексацией страниц, все элементы находились в исправном состоянии, было быстрое время загрузки и т. д. Чтобы обнаружить такие ошибки, следует провести технический аудит.

Хотя выше было сказано, что внешние факторы не участвуют в ранжировании, не забываем о ссылках – они нужны. Ссылки приманивают быстробота к новой страничке. Лучше всего подходят ссылки с социальных сетей и хабов. Желательно настроить автоматическое размещение таких ссылок в больших количествах.

Проблема индексации быстроботом

Если вы замечаете просадку трафика из быстровыдачи, следует обратить внимание, индексируются новые страницы или нет.

Это можно проверить, воспользовавшись данными из логов или Вебмастера. Для этого следует пойти по следующему алгоритму и составить таблицу:

1. Составить список страниц, которые были добавлены на сайт в определённый день, посмотреть их количество.
2. Выгрузить логи или данные Вебмастера и посмотреть, какие страницы обходил бот, сколько всего он обошёл.
3. Проверить, обходил ли бот страницы из первого пункта, какое количество он обошёл.
4. Проверить, сколько страниц попало в индекс.

Для удобства можно смотреть по отдельным категориям и, если нужно, расширять таблицу.

В результате получится таблица следующего вида:

Пример сравнительной таблицы обхода ботом

После того как была составлена таблица, нужно её проанализировать. Возьмём для примера таблицу выше.

На сайт в определённый день (назовём его день X) было добавлено 850 страниц. Всего бот обошёл (на следующий день после дня X) 2814 страниц. Из этого количества бот обошёл всего лишь 50 страниц, добавленных в день X.

Сразу видим первую проблему – бот обходит критически мало новых страниц, всего 50 из 850. Теперь нужно посмотреть, сколько страниц он обошёл за день-два до дня X. Это подскажет нам, через какое время после добавления страниц бот их обходит.

Условно скажем, что таких страниц было 200. Теперь мы знаем, что 2564 (страницы, которые бот обошёл за день-два до дня X, отнесли к новым) старых страницы было прокраулено ботом. Делаем вывод, что некорректно расходуется краулинговый бюджет.
Нужно сделать всё возможное, чтобы сместить акцент краулера на новые страницы. Конечно, то, что бот обходит старые страницы – не ошибка, но для сайта, который получает основной трафик с быстровыдачи, это становится серьёзной проблемой.

Теперь нужно посмотреть, какая ситуация была до просадки. Это следует сделать, чтобы подтвердить или опровергнуть теорию с проблемой индексации.

Для этого также берём данные из логов и составляем такую же таблицу, которую сделали раньше. Если по каким-то причинам у вас нет данных логов за период до просадки, понадобится Яндекс.Метрика (Вебмастер уже не используем, так как он показывает статистику обхода за 3 дня). Открываем «Отчеты» → «Страницы входа», сегментируем по поисковой системе Яндекс, указываем определённый день и выгружаем отчёт.

Скриншот Яндекс.Метрики

Открываем отчёт, находим страницы, которые были добавлены в тот же день. Далее смотрим, сколько страниц было добавлено в
этот день, делаем табличку – это покажет, сколько страниц попадало в индекс до просадки.

Таблица сравнения количества добавленных страниц и страниц, которые приносили трафик

Составив и проанализировав таблицу, мы видим, что раньше бот лучше индексировал страницы. Это подтверждает нашу теорию о
плохой индексации новых страниц.

После этого следует принимать действия по оптимизации краулингового бюджета.

Краулинговый бюджет можно оптимизировать следующими способами:

• Настроить HTTP-заголовок If-Modified-Since для всех страниц. Его суть в следующем: если после последнего обхода бота
  на страницы не вносились изменения, сервер должен дать 304 ответ – не скачивать их содержимое, расходуя квоту, прежде
  всего, на реально изменившиеся со времени предыдущей индексации или же новые документы.
• Установить на сайт «Ловец ботов». Когда поисковый робот будет приходить на страницу, специальный скрипт покажет ему ссылки
  именно на непроиндексированные страницы. Стоит упомянуть, что это довольно дорогое удовольствие.
• Настроить перелинковку. На сайт нужно добавить новые блоки, которые будут рандомно (случайным образом) выдавать новые
  страницы, добавленные в тот же день, при каждом обновлении страницы.

Пример блока с перелинковкой

• Закрыть от индексации страницы пагинации, которые ведут на старые страницы. Оставить открытой пагинацию, которая ведёт
  на новые страницы, добавленные в течение 4–5 дней.
• Добавлять новые страницы на переобход в Вебмастере. Есть нюанс – на переобход можно отправить ограниченное количество
  страниц, разное для каждого сайта. Эту функцию можно найти в Вебмастере, перейдя на вкладку «Индексирование» → «Переобход».
• Настроить автоматическое добавление ссылок с социальных сетей или хабов со ссылкой на новую страницу. Это привлечёт бота,
  он перейдёт по ссылке и обойдёт страницу. Таких ссылок должно быть много.

Также стоит проверить сайт на наличие технических ошибок, которые могут привести к плохой индексации, например, дубли, закрытые
страницы/категории от индексации, которые ведут на новые страницы и т. д.

Из таблицы также видно, что, хотя бот и обошёл 50 новых страниц, всего 40 из них попало в индекс. Это говорит о том, что
боту не нравится страница. Также можно провести эксперимент: добавить ряд страниц на переобход и проверить, сколько из
них попадёт в индекс. Если будет такая же ситуация, значит, есть проблемы со страницами. В этом случае нужно работать над
улучшением качества самих страниц и контента.

Заключение

Подытожим, какими качествами должна обладать страница и сайт в целом, чтобы попасть в быстровыдачу:

• Страницы должны иметь событийный характер.
• Контент и страницы сайта в целом должны быть качественными, не содержать спама, информативными и полностью отвечать на
  запрос пользователя.
• При размещении новой страницы должны автоматически размещаться ссылки с хабов и социальных сетей.
• Контент сайта нужно часто обновлять.
• На сайте не должно быть технических ошибок.
• Нужно правильно настроить краулинговый бюджет, быстробот должен беспрепятственно обходить новые страницы.

 

Еще по теме:

• Насколько важна уникальность текстов для организационно-правовых страниц сайта?
Насколько важна уникальность текста на страницах сайта "Политика конфиденциальности", "Отказ от ответственности", "Защита данных" и пр.? И как сделать эти страницы уникальными? Ответ Для данного...
• Опасны ли сейчас ссылки со спамных или порно ресурсов?
Чем опасны ссылки и переходы с спамных или порно сайтов в 2023 году? ПС не научились их фильтровать и не учитывать? Ответ Google в значительной...
• Как правильно для SEO реализовать прелоадер на сайте?
Реализовали прелоудер, который есть по умолчанию, оверлеем накладывается поверх всего и после загрузки страницы ((window).load ) скрывается JS-ом. Вопрос: как будет на это реагировать гуглбот,...
• Влияние уникальности контента на ранжирование и её важность для SEO
Что такое уникальность контента Уникальный текст Уникальные изображения Уникальный дизайн Сервисы для проверки уникальности текста Как влияет уникальность контента на продвижение в разных ПС? Почему...
• Что делать с рекламой на сайте, или Чиним двигатель торговли
Мы не раз сталкивались с ситуациями, когда сайты были пессимизированы поисковой системой за переизбыток рекламы. Допустима ли реклама на сайте, где и в каких количествах ее лучше...