Что в настоящее время влияет на краулинговый бюджет сайта?

Ответ

В настоящее время на краулинговый бюджет оказывают негативное влияние прежде всего следующие страницы:

• страницы с 404 ошибкой или пустые страницы (soft 404);
• страницы с идентификаторами сессий;
• дубли страниц с get-параметрами и UTM -метками;
• взломанные веб страницы;
• страницы-дубли;
• заспамленные страницы или с низкокачественным контентом (плагиат);
• бесконечные страницы.

Помимо страниц низкого качества на краулинговый бюджет влияют также такие факторы:

• Время ответа сервера. Чем быстрее и надежнее Ваш сервер, тем чаще бот будет посещать сайт, так как ответ боту дается быстрее.
• Количество страниц на сайте. Чем больше страниц у сайта, тем больше ресурсов, а впоследствии и краулингового бюджета нужно будет потратить на его сканирование. Бот старается обойти все страницы, поэтому если на сайте присутствуют дубли страниц, страницы с малым количеством информации, если неправильно настроена работа пагинации и тд., то бот будет тратить свой бюджет на сканирование таких страниц, уделяя при этом меньше внимания страницам, которые действительно важны для продвижения.
• Авторитетность страниц. Чем чаще и больше пользователи находят страницу и дольше проводит там время, тем чаще бот будет сканировать такую страницу и переобходить.
• Актуальность страницы. Бот старается периодически переобходить страницы, которые он уже просканировал, чтобы обеспечить актуальность контента такой страницы.

Хотя краулинговый бюджет и не влияет напрямую на трафик и позиции, его все-таки нужно оптимизировать и увеличивать.

Увеличить краулинговый бюджет можно несколькими способами:

• Настройка sitemap и robots.txt. Эти два файла являются важными для поискового бота, так как сообщают о созданных страницах, а также какие страницы являются не такими важными для сканирования.
  Мусорные страницы необходимо блокировать в robots.txt и не добавлять их в карту сайта. В sitemap должны быть только те страницы, которые могут полезны для пользователя (не указывайте там страницы с редиректами, с 404 ошибкой).
  Чтобы избежать повторного сканирования страниц, которые никак не изменились с момента последнего обхода, указывайте в карте сайта last-modified или настройте HTTP-заголовок If-Modified-Since.
• Скорость загрузки сайта. Увеличивая скорость сайта, можно и увеличить и краулинговый бюджет, так как бот за то же время может просканировать намного больше страниц. Надо не забывать, что скорость загрузки надо увеличивать как для десктопов, так и для мобильных, так как боты бывают разные.
• Удалите цепочки редиректов, если такие есть. Как правило, если боту необходимо пройти несколько переадресаций, чтобы добраться до конечного URL, то он может просто до него не дойти. Таким образом краулинговый бюджет может тратиться впустую.
• Уменьшите количество страниц, которые отдают 4xx и 5xx ответы сервера. Такие коды ответа сервера тратят бюджет, проанализируйте страницы, возможно с них можно поставить 301 редирект или же сообщить боту, что страница удалена навсегда с помощью 410 ответа сервера.
• Сделайте или улучшите внутреннюю перелинковку на сайте. Как показывает практика, чем меньше ссылок ведет на страницу с сайта, тем реже она будет сканироваться ботом.

Еще по теме:

• Что делать с большим количеством 404 страниц?
На постоянно меняющейся структуре большого магазина, при обмене данных, возникает большое кол-во 404 (битых ссылок). Нужно ли обращать внимание на такие страницы — делать 301...
• Правильно ли делать глубокую вложенность страницы и как она сказывается на краулинговом бюджете?
Правильно ли будет делать глубокую вложенность: https://www.site.сom/tool/avtomobilnyy-instrument/domkraty/reechnye/ Хлебные крошки тут такие: Главная / Каталог товаров / Инструмент / Автомобильный инструмент / ДОМКРАТЫ / РЕЕЧНЫЕ Как...
• Заголовок Last-Modified: нужно ли настраивать его, как и в каких ПС действует Last-Modified
Нужен ли last-Modified на сайте? Для каких поисковых систем он подходит? И есть ли информация о том, как Google обрабатывает last-Modified? Ответ При посещении сайта,...
• Как увеличить и оптимизировать краулинговый бюджет?
У вас есть чек-лист по краулинговому бюджету сайта? Интересует как увеличить краулинговый бюджет и базовые рекомендации по его оптимизации. Ответ Чтобы увеличить краулинговый бюджет и...
• Как сократить количество 301 редиректов для краулинга?
В серч консоле гугл бот тратит 23% на обработку 301 редиректов. Как сократить количество 301 редиректов для краулинга? Ответ Если вы обнаружили достаточно большое количество...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)