Влияют ли на краулинговый бюджет мусорные страницы и как его увеличить?

Есть довольно крупный сайт и в индексе в основном мусорные и не совсем качественные страницы. В последнее время столкнулись с проблемой индексации новых и весьма полезных страниц.
Скажите, можно ли ускорит индексацию за счёт удаления из индекса тех мусорных страниц? И влияет ли на краулинговый бюджет наличие мусора в индексе?

Ответ

Если новые страницы не индексируются, то стоит заняться оптимизацией краулингового бюджета: помочь боту не тратить бюджет зря на низкокачественные страницы и обходить те, что важны для продвижения.

На краулинговый бюджет негативно влияют некачественные страницы в большой количестве:

страницы-дубли;
страницы с малоценным и спамным контентом;
дубли страниц с get-параметрами и UTM-метками;
бесконечные страницы.

Чтобы увеличить краулинговый бюджет, необходимо:

увеличить скорость загрузки сайта — чем выше скорость, тем больше страниц сможет обойти бот;
настроить внутреннюю перелинковку — бот с большей вероятностью найдет и просканирует новую страницу, если на нее будет стоять ссылка с другой сильной страницы;
оптимизировать редиректы — каждый редирект и цепочки редиректов это трата краулингового бюджета. Убедитесь, что есть необходимость в каждом существующем редиректе;
постараться удалить мусорные страницы из индекса;
указать в sitemap last-modified для тех страниц, содержимое которых не менялось с последнего сканирования ботом. Так боты не будут лишний раз их обходить.

О том как увеличить краулинговый бюджет читайте подробнее в нашей статье.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как проверить маршрут поискового робота по сайту и увеличить частоту индексации страниц?

Очень странно попадают страницы в индекс сайта - то днями ждать нужно, то сразу после создания. Как проверить маршрут робота по сайту? Хочу узнать причину...

Заголовок Last-Modified: нужно ли настраивать его, как и в каких ПС действует Last-Modified

Нужен ли last-Modified на сайте? Для каких поисковых систем он подходит? И есть ли информация о том, как Google обрабатывает last-Modified? Ответ При посещении сайта,...

Как правильно удалить старые страницы сайта без трафика?

Есть крупный сайт услуг с 300 тыс. страниц. Сайт хорошо ранжируется, быстро индексируется. Но на сайте много страниц без трафика – совсем старые статьи, новости...

Правильно ли делать глубокую вложенность страницы и как она сказывается на краулинговом бюджете?

Правильно ли будет делать глубокую вложенность: https://www.site.сom/tool/avtomobilnyy-instrument/domkraty/reechnye/ Хлебные крошки тут такие: Главная / Каталог товаров / Инструмент / Автомобильный инструмент / ДОМКРАТЫ / РЕЕЧНЫЕ Как...

Что в настоящее время влияет на краулинговый бюджет сайта?

Что в настоящее время оказывает влияние на краулинговый бюджет поисковых роботов? И как можно увеличить краулинговый бюджет для сайта? Ответ В настоящее время на краулинговый...