Что в настоящее время влияет на краулинговый бюджет сайта?

Ответ

В настоящее время на краулинговый бюджет оказывают негативное влияние прежде всего следующие страницы:

• страницы с 404 ошибкой или пустые страницы (soft 404);
• страницы с идентификаторами сессий;
• дубли страниц с get-параметрами и UTM -метками;
• взломанные веб страницы;
• страницы-дубли;
• заспамленные страницы или с низкокачественным контентом (плагиат);
• бесконечные страницы.

Помимо страниц низкого качества на краулинговый бюджет влияют также такие факторы:

• Время ответа сервера. Чем быстрее и надежнее Ваш сервер, тем чаще бот будет посещать сайт, так как ответ боту дается быстрее.
• Количество страниц на сайте. Чем больше страниц у сайта, тем больше ресурсов, а впоследствии и краулингового бюджета нужно будет потратить на его сканирование. Бот старается обойти все страницы, поэтому если на сайте присутствуют дубли страниц, страницы с малым количеством информации, если неправильно настроена работа пагинации и тд., то бот будет тратить свой бюджет на сканирование таких страниц, уделяя при этом меньше внимания страницам, которые действительно важны для продвижения.
• Авторитетность страниц. Чем чаще и больше пользователи находят страницу и дольше проводит там время, тем чаще бот будет сканировать такую страницу и переобходить.
• Актуальность страницы. Бот старается периодически переобходить страницы, которые он уже просканировал, чтобы обеспечить актуальность контента такой страницы.

Хотя краулинговый бюджет и не влияет напрямую на трафик и позиции, его все-таки нужно оптимизировать и увеличивать.

Увеличить краулинговый бюджет можно несколькими способами:

• Настройка sitemap и robots.txt. Эти два файла являются важными для поискового бота, так как сообщают о созданных страницах, а также какие страницы являются не такими важными для сканирования.
  Мусорные страницы необходимо блокировать в robots.txt и не добавлять их в карту сайта. В sitemap должны быть только те страницы, которые могут полезны для пользователя (не указывайте там страницы с редиректами, с 404 ошибкой).
  Чтобы избежать повторного сканирования страниц, которые никак не изменились с момента последнего обхода, указывайте в карте сайта last-modified или настройте HTTP-заголовок If-Modified-Since.
• Скорость загрузки сайта. Увеличивая скорость сайта, можно и увеличить и краулинговый бюджет, так как бот за то же время может просканировать намного больше страниц. Надо не забывать, что скорость загрузки надо увеличивать как для десктопов, так и для мобильных, так как боты бывают разные.
• Удалите цепочки редиректов, если такие есть. Как правило, если боту необходимо пройти несколько переадресаций, чтобы добраться до конечного URL, то он может просто до него не дойти. Таким образом краулинговый бюджет может тратиться впустую.
• Уменьшите количество страниц, которые отдают 4xx и 5xx ответы сервера. Такие коды ответа сервера тратят бюджет, проанализируйте страницы, возможно с них можно поставить 301 редирект или же сообщить боту, что страница удалена навсегда с помощью 410 ответа сервера.
• Сделайте или улучшите внутреннюю перелинковку на сайте. Как показывает практика, чем меньше ссылок ведет на страницу с сайта, тем реже она будет сканироваться ботом.

Еще по теме:

• Как проверить маршрут поискового робота по сайту и увеличить частоту индексации страниц?
Очень странно попадают страницы в индекс сайта - то днями ждать нужно, то сразу после создания. Как проверить маршрут робота по сайту? Хочу узнать причину...
• Как сократить количество 301 редиректов для краулинга?
В серч консоле гугл бот тратит 23% на обработку 301 редиректов. Как сократить количество 301 редиректов для краулинга? Ответ Если вы обнаружили достаточно большое количество...
• Как правильно удалить старые страницы сайта без трафика?
Есть крупный сайт услуг с 300 тыс. страниц. Сайт хорошо ранжируется, быстро индексируется. Но на сайте много страниц без трафика – совсем старые статьи, новости...
• Правильно ли делать глубокую вложенность страницы и как она сказывается на краулинговом бюджете?
Правильно ли будет делать глубокую вложенность: https://www.site.сom/tool/avtomobilnyy-instrument/domkraty/reechnye/ Хлебные крошки тут такие: Главная / Каталог товаров / Инструмент / Автомобильный инструмент / ДОМКРАТЫ / РЕЕЧНЫЕ Как...
• Влияют ли на краулинговый бюджет мусорные страницы и как его увеличить?
Есть довольно крупный сайт и в индексе в основном мусорные и не совсем качественные страницы. В последнее время столкнулись с проблемой индексации новых и весьма...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)