Что влияет на частоту индексации и как заставить поискового робота посещать ваш сайт чаще

От чего зависит скорость индексации сайта, как на нее можно повлиять и как сообщить роботу Яндекса и Google об изменениях на сайте. Читайте о том, как заставить роботов поисковых систем чаще заходить на ваш сайт.

Вебмастера часто сталкиваются с проблемой, когда страницы неделями не попадают в индекс поисковой системы. Особенно актуальна она в Яндексе – новые страницы в нем появляются значительно позже, чем в Google. А в последнее время Яндекс еще и редко делает текстовые апдейты – 2-3 раза в месяц. В этой статье мы рассмотрим, что влияет на индексацию сайта, как ее можно ускорить и как следить за ней. 

Быстрые ссылки:

— Что влияет на частоту индексирования сайта поисковым роботом

— Как улучшить индексацию сайта

— Как следить за индексированием сайта

— Как сообщить роботу ПС об изменениях на сайте

— Загруженность сервера, на котором находится сайт (качество хостинга)

Если на сервере находится много других ресурсов, а технические характеристики сервера не позволяют оперативно справляться со всеми запросами робота, робот начинает посещать такой сайт реже. Соответственно, ему потребуется больше времени для включения страниц в результаты поиска. 

— Частота обновления сайта в целом

Поисковые роботы анализируют частоту обновления контента на сайте, в результате чего определяют, как часто будут посещать тот или иной сайт. 
Чем чаще на сайт добавляется новый контент, тем чаще роботы ПС посещают его. 

— Интерес посетителей к сайту (ПФ)

Поисковый робот может пересмотреть политику планирования и посещать сайт чаще, если на сайт регулярно добавляются новые материалы, интересные пользователям (например, новости, статьи):

• пользователи задерживаются на сайте;
• переходят по внутренним страницам;
• добавляют сайт в закладки;
• делятся материалом в соц. сетях и т.д. 

Поисковый робот за один визит индексирует определенное количество страниц согласно выделенной квоте, которая зависит от множества параметров сайта. Т.е. даже если робот посетил ваш сайт, это еще не значит, что он проиндексирует и включит в свою базу все страницы сайта. Поэтому очень важно, чтобы робот-индексатор не только посетил ваш сайт, но и включил в свою базу все новые и измененные страницы сайта. 

Ниже в статье мы рассмотрим, как заставить робота ПС чаще посещать ваш сайт и при этом увеличить количество страниц, которое за раз может проиндексировать робот ПС, – краулинговый бюджет.

1. Проанализируйте сайт на наличие дублей

Данный пункт поставили первым, так как дубли страниц – одна из основных проблем, которая ухудшает индексацию сайта поисковыми роботами.

Когда на сайте есть дубли, краулинговый бюджет тратится на бесполезные страницы вместо новых страниц или страниц с обновленным материалом.

О том, как найти на сайте дубли, подробно написано в статьях нашего блога:

— Дубли страниц. Чем опасны? Как найти и удалить? 
— Как провести технический аудит сайта 

2. Настройте сервер на выдачу правильного HTTP-статуса

Корректная настройка кодов статуса HTTP очень важна для правильной индексации сайта.

Когда робот ПС запрашивает страницу сайта, код статуса предоставляет ему информацию о сайте и конкретной странице: 

• существует страница или нет,
• настроена ли переадресация,
• нет ли на стороне сервера ошибки.

Например, код http «404 Not Found» сообщает, что страница по запрашиваемому адресу не существует, а код http «OK 200» сообщает, что страница доступна.

Также рекомендуем настроить заголовок Last-Modified.

Заголовок Last-Modified информирует робота ПС о дате последнего изменения документа. Таким образом, робот-индексатор проверяет на обновление только документы, действительно изменившиеся со времени предыдущего обхода, или новые страницы, не тратя при этом краулинговый бюджет на страницы, которые не менялись.

Подробно о заголовке Last-Modified здесь. 

3. Мониторьте время отклика сервера и скорость загрузки страниц

Время ответа сервера на запрос браузера напрямую влияет на индексацию сайта. 

С учетом сетевых задержек оно должно быть не более 300 мс.

Сервисы по измерению отклика сервера:

— https://www.host-tracker.com/ 
— Яндекс.Вебмастер 

Для индексации сайта также очень важна скорость загрузки сайта.

Время загрузки страницы не должно превышать 3-5 секунд.

Сервисы по проверке скорости загрузки:

— https://tools.pingdom.com/fpt/ 
— https://www.webpagetest.org/

Увидеть, есть ли недочеты, можно с помощью сервиса Google PageSpeed.

4. Грамотно организуйте структуру сайта

Чем понятней для поискового робота выглядит структура сайта, тем он лучше будет его индексировать. 

Рекомендации по структуре сайта:

— Уровень вложенности страниц

Любая продвигаемая страница должна быть не дальше, чем в 3 кликах от главной. Это очень важно для индексации, так как поисковому роботу потребуется гораздо меньше времени на индексацию простого и неглубокого сайта, чем на сложный ресурс с запутанной системой навигации. 

— Реализуйте на сайте хабовые страницы

Хабовые страницы – это страницы, которые содержат ссылки на разделы и подразделы, служащие для навигации пользователей по сайту. 

Для того чтобы улучшить индексацию, хабовые страницы необходимо реализовать в один клик от главной страницы сайта. 

Что нам даст реализация хабовых страниц:

А. Уменьшит уровень вложенности
Б. Ускорит индексацию страниц поисковым ботом
В. Поможет пользователям легче найти нужный материал

Пример хабовой страницы:

— Выводите анонсы на новые страницы на главную сайта

Поисковый робот чаще всего посещает главную страницу сайта. Если на ней будут размещены ссылки на новые страницы или страницы с обновленным контентом, есть большая вероятность, что робот их проиндексирует.

Например:

— Реализуйте виджет в сайдбаре последних статей

Еще один хороший способ связать между собой страницы сайта:

— Не делайте меню на скриптах и flash

Главным недостатком использования меню на скриптах и flash является то, что поисковые роботы его не видят. 

5. Настройте файл robots.txt

Корректно составленный robots.txt позволит исключить возможные проблемы, возникающие при сканировании сайта роботом. Это может значительно ускорить индексацию ресурса в целом.

В файле robots.txt нужно прописать инструкции для роботов поисковых систем: какие страницы сайта индексировать, а какие – нет. В таком случае поисковикам потребуется меньше времени для сканирования сайта.

Например, в robots.txt можно закрыть:

• служебные файлы и папки CMS;
• внутренние и внешние дубли (если есть);
• формы ответа на форуме;
• технические страницы;
• файлы, которые не несут пользу для пользователя (например, статистика посещений, страницы с результатами поиска).

Как создать правильный robots.txt?

1. Создайте файл robots.txt в текстовом редакторе.

2. Заполните его в соответствии с правилами. Синтаксис Robots можно посмотреть в рекомендациях Яндекса для вебмастеров. 

3. Проверьте файл в сервисе Яндекс.Вебмастер — > Анализ robots.txt.

Скриншот из Яндекс.Вебмастера:

4. Если проверка прошла успешно и ошибок не обнаружено, загрузите файл в корень сайта. 

6. Внешние сигналы ссылками

Чтобы ускорить индексацию сайта, рекомендуем привлекать на него роботов ПС с помощью внешних ссылок. Например:

• Зарегистрируйте сайт в трастовых каталогах, справочниках и рейтингах (например, Яндекс.Каталог, DMOZ и Каталог Mail.ru);
• Размещайте свои статьи на платной основе на сайтах такой же тематики;
• Общайтесь на тематических форумах (о крауд-маркетинге подробнее здесь);
• Интегрируйте сайт с социальными сетями;
• Создайте RSS-трансляцию на сайте;
• Размещайте статьи в сервисах социальных новостей;
• Работайте с социальными закладками.

7. Пишите качественный и уникальный контент

Качество контента также влияет на скорость индексации сайта. Плохой контент, который не дает полный ответ на запрос пользователя, в котором есть грамматические ошибки, большая плотность ключевых слов, индексируется хуже. 

При написании текста важно учитывать, что:

• Тексты должны содержать только наиболее важную информацию, полезную посетителям. 
• Материал должен давать полный ответ на запрос, после прочтения которого пользователь перестанет искать информацию на эту тему.
• Акцентируйте внимание на важных нюансах, убирайте «воду» и рассуждения ни о чем. 
• Тексты должны быть грамотно структурированы (используйте заголовки, подзаголовки, делите текст на абзацы, делайте списки, когда они уместны, и т. д.) 
• Тексты должны содержать ключевые слова, но в умеренном количестве – избегайте переспама. 
• Желательно, чтобы уникальность текстов была не ниже 70%, согласно сервису https://advego.ru/plagiatus/ или https://www.etxt.ru/antiplagiat/.

Добавьте сайт в сервис Яндекс.Вебмастер и Google Search Console

Если сайт еще не добавлен в панели вебмастеров поисковых систем, настоятельно рекомендуем добавить. С их помощью вы сможете легко анализировать индексацию проекта. Например:

• когда робот последний раз посещал ваш ресурс;
• сколько страниц он загрузил в свою базу; 
• включена ли определенная страница в базу поиска;
• какие ошибки обнаружил робот;
• время загрузки страницы.

Также вы можете сообщить ПС о новых или удаленных страницах и мониторить другие параметры сайта, не связанные с индексацией. Например, внешние ссылки, ведущие на сайт, запросы, по которым пользователи переходят на сайт, и т.д. 

Только полный анализ сможет помочь вовремя выявить и исправить ошибки индексации сайта. 

Зарегистрировать сайт в вебмастере Яндекса и Google просто.

Для этого нужно выполнить процедуру в 3 шага, которые сопровождаются подробной инструкцией, в Я.Вебмастер:

Добавление сайта в Google Search Console также сопровождается инструкцией:

— Создайте карту сайта 

Чтобы помочь поисковому роботу найти новые страницы на сайте, рекомендуем создать карту сайта в двух форматах: xml и html.

Карту в формате html нужно выложить на сайт в качестве отдельной страницы. При сканировании сайта робот попадает на данную страницу – она должна содержать ссылки на все страницы сайта, а это поможет ему найти их.

Карту в формате XML (Sitemaps) нужо добавить в панель инструментов для вебмастеров Google и Яндекса.

Рекомендации по созданию карты сайта XML (Sitemap):

— Карта сайта должна автоматически генерироваться и обновляться при добавлении на сайт новых URL или удалении старых.

— В карту сайта не должны попадать закрытые от индексации страницы. 

— После создания файла необходимо убедиться, что в нем нет ошибок. Сделать это можно при помощи специальных инструментов поисковых систем:

• Яндекс-валидатор файлов Sitemap
• Google – «Как проверить файл Sitemap?»

Также в карте XML (Sitemap) можно указать:

• приоритет индексации – при помощи тега <priority>;
• частоту обновления конкретной страницы – при помощи тега <changefred>.

После того как карта сайта будет создана, информацию о ней нужно добавить в панель инструментов для вебмастеров Google и Яндекса.

• Рекомендации Яндекса
• Рекомендации Google

— Напишите скрипт «Ловец ботов»

Для крупного проекта можно применить следующую методику – в момент прихода робота ПС на сайт специальный скрипт показывает роботу ссылки на не проиндексированные страницы сайта. 

Недостаток использования методики – сложная техническая реализация. 

— Используйте «Add URL» поисковых систем

Это наиболее «традиционный» способ ускорения индексации новых страниц на сайте. С помощью «Add URL» поисковой системе можно сообщить как о новом сайте, так и о новой странице на сайте.

Ниже приведем ссылки на «Add URL» наиболее популярных поисковых систем: 

Чтобы сообщить о новой странице ПС Яндекс, используйте форму add url Яндекс:

Чтобы сообщить о новой ПС Google, используйте форму add url Google:

Недостаток использования этого инструмента – добавление страниц в данные формы не дает гарантий, что страница сразу же окажется в базе поисковой системы.

— Для быстрой индексации новых страниц в Google используйте инструмент «Посмотреть как Googlebot»

Воспользоваться данным инструментом можно после того, как сайт будет добавлен в Google Search Console (вебмастер). 

Google Search Console — > Раздел Сканирование — > Посмотреть как Googlebot — > Вводим нужный URL — > Кнопка «Сканировать» — > Кнопка «Добавить в индекс», после чего появится надпись «URL отправлен на индексирование»:

Также с помощью данного инструмента можно узнать время загрузки страницы и данные по процессу сканирования. 

Единственный недостаток – необходимо каждый раз при добавлении нового материала адрес вводить вручную.

— Плагин-пингер для ускорения индексации новых страниц в Яндекс

Повысить приоритет индексирования новых страниц сайта можно с помощью специальных POST-запросов. Подробнее здесь.

Если ваш сайт построен на основе популярных CMS, например, WordPress, Joomla, Drupal – установите специальный плагин Пингер. Он автоматически будет сообщать Яндексу о появлении новых страниц на вашем сайте. 

Что для этого необходимо сделать:

А. Установите Поиск Яндекс:

Б. Установите и настройте плагин в соответствии с инструкцией:

После публикации новой страницы зайдите в настройки плагина, в окне «Сообщение о статусе плагина» должно появляться сообщение «Плагин работает корректно» и выводиться последний добавленный адрес.

Другие возможные статусы и их значения можно посмотреть здесь.

— Специальные формы ПС для ускорения индексации блога «Пинг»

Если у вас блог с подпиской на RSS, для ускорения индексации новых страниц вы можете использовать специальную форму ПС «Пинг».

«Пинг» – это оповещение поисковых систем об изменениях на вашем сайте. 

Для добавления новой записи в ПС Google нужно использовать форму «Blog Search» по адресу:

Для добавления новой записи в ПС Яндекс нужно использовать форму «Отправить пинг» по адресу:
— Бесплатные сервисы пингования

Для ускорения индексации новых документов используйте бесплатные сервисы пингования, например, https://seo-ng.net/seo-instrumenty/ping_services.html:

Важно! Сервисы пингования используйте только при наличии свежего материала на сайте. Также не стоит один и тот же сайт пинговать в разных сервисах.

Подведем итоги – чтобы ускорить индексацию сайта в целом, необходимо:

1. Провести техническую оптимизацию сайта.

2. Организовать грамотную структуру сайта.

3. Регулярно добавлять новый качественный материал на сайт.

4. Добавляя новые страницы, нужно сообщать о них ПС.

5. Привлекать на сайт роботов ПС с помощью внешних ссылок.

Еще по теме:

• Как правильно прописать alt и title для изображений на мультиязычном сайте и надо ли дублировать изображения в таком случае?
Сайт на нескольких языках, в карточке товара одно изображение выводится на всех языках. Как правильно прописывать alt и title для каждого языка в этом случае?...
• Влияние HTML5 на SEO
Что такое HTML5 семантика? Основные семантические элементы HTML5 header footer article section main nav aside Дополнительные полезные теги мультимедийные теги (audio, video) canvas details mark...
• Error 404 — что значит, как найти и исправить ошибку
В этой статье мы разберём, что такое 404 ошибка, когда и каким образом она может навредить и как её отследить, а также приведём перечень рекомендаций...
• Четыре совета от представителей Google
На одной из недавних конференций наши специалисты пообщались с представителями Google. Хотим поделиться с вами их мнением по ряду вопросов. В статье мы расскажем о...
• Как и зачем обновлять CMS вашего сайта
Почему нужно обновлять CMS вашего сайта, насколько часто, как правильно это сделать и как проверить результаты обновления. Читайте в статье нашего программиста. К нам обращаются...