Влияют ли на краулинговый бюджет мусорные страницы и как его увеличить?

Ответ

Если новые страницы не индексируются, то стоит заняться оптимизацией краулингового бюджета: помочь боту не тратить бюджет зря на низкокачественные страницы и обходить те, что важны для продвижения.

На краулинговый бюджет негативно влияют некачественные страницы в большой количестве:

• страницы-дубли;
• страницы с малоценным и спамным контентом;
• дубли страниц с get-параметрами и UTM-метками;
• бесконечные страницы.

Чтобы увеличить краулинговый бюджет, необходимо:

• увеличить скорость загрузки сайта — чем выше скорость, тем больше страниц сможет обойти бот;
• настроить внутреннюю перелинковку — бот с большей вероятностью найдет и просканирует новую страницу, если на нее будет стоять ссылка с другой сильной страницы;
• оптимизировать редиректы — каждый редирект и цепочки редиректов это трата краулингового бюджета. Убедитесь, что есть необходимость в каждом существующем редиректе;
• постараться удалить мусорные страницы из индекса;
• указать в sitemap last-modified для тех страниц, содержимое которых не менялось с последнего сканирования ботом. Так боты не будут лишний раз их обходить.

О том как увеличить краулинговый бюджет читайте подробнее в нашей статье.

Еще по теме:

• Что делать с большим количеством 404 страниц?
На постоянно меняющейся структуре большого магазина, при обмене данных, возникает большое кол-во 404 (битых ссылок). Нужно ли обращать внимание на такие страницы — делать 301...
• Как правильно удалить старые страницы сайта без трафика?
Есть крупный сайт услуг с 300 тыс. страниц. Сайт хорошо ранжируется, быстро индексируется. Но на сайте много страниц без трафика – совсем старые статьи, новости...
• Могут ли страницы пагинации съедать краулинговый бюджет?
Почти все страницы категории заканчиваются на /page/2, /page/3 и т.д. Я слышал, что пагинация может "съедать" краулинговый бюджет. Это миф или действительно так? Ответ Страницы...
• Как проверить маршрут поискового робота по сайту и увеличить частоту индексации страниц?
Очень странно попадают страницы в индекс сайта - то днями ждать нужно, то сразу после создания. Как проверить маршрут робота по сайту? Хочу узнать причину...
• Правильно ли делать глубокую вложенность страницы и как она сказывается на краулинговом бюджете?
Правильно ли будет делать глубокую вложенность: https://www.site.сom/tool/avtomobilnyy-instrument/domkraty/reechnye/ Хлебные крошки тут такие: Главная / Каталог товаров / Инструмент / Автомобильный инструмент / ДОМКРАТЫ / РЕЕЧНЫЕ Как...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)