Как улучшить индексацию ИМ и влияет ли вложенность URL на обход страниц роботом?

Ответ

Как таковая вложенность и количество слешей в URL не влияют на индексирование страниц. Гораздо более важный показатель – Click Distance. Это показатель количества кликов, за которые можно попасть с главной страницы на целевую. Другими словами, если на главной странице есть ссылка на site.com/catalog/category/product, то данная страница будет проиндексирована быстрее, чем страница с URL site.com/product, на которую пользователь и робот попадает через несколько кликов.

Для интернет-магазина Ваша структура URL корректна и логична. Проблемы со скоростью индексации могут быть из-за:

• Низкого краулингового бюджета сайта. Одна из самых распространенных проблем крупных интернет-магазинов – необходимость ожидать переиндексацию отдельных страниц в течении месяца.
• Недостаточной перелинковки. Возможно, внутренние подкатегории попросту не перелинкованы должным образом и робот не может дойти до них.
• Скорости загрузки и работы серверов. Если показатели низкие, Google-бот может снизить количество страниц, которые он обходит.

Для увеличения скорости индексирования страниц уделите внимание оптимизации краулингового бюджета. Для этого:

• грамотно настройте Sitemap, используйте last-modified во избежание повторного сканирования неизмененных страниц;
• правильно настройте robots.txt, чтобы мусорные страницы не сканировались;
• оптимизируйте скорость загрузки сайта;
• проработайте внутреннюю перелинковку, добавьте на страницы:
  • быстрые теги;
  • блоки с похожими товарами и сопутствующими товарами;
  • активные ссылки в фильтре и т.д.;
  • микроразметку BreadCrumbs.
• избегайте цепочек редиректов и тупиковых страниц;
• оптимизируйте фильтры.

В первую очередь выделите только приоритетные категории и сообщите об этом роботу. Это можно сделать путем ручной отправки страниц на переобход. Как это сделать массово в Google рассказывали в статье: «Как индексировать 200 URL Google каждый день через Indexing API» .

Еще по теме:

• Почему при сканировании сайта находятся страницы с 503-й ошибкой, хотя на самом деле имеют код ответа 200?
Краулеры (SiteAnalyzer и ScreamingFrog) при сканировании сайта находят страницы с 503 ошибкой. Сами страницы прекрасно открываются, и в вебмастере и в онлайн сервисах отдают код...
• Как время ответа сервера (TTFB) влияет на индексацию Google?
Интернет-магазин строительных товаров, сделан по типу каталожки, очень много категорий. Однако, у сайта есть проблема - время ответа сервера (TTFB) чуть ли не 2 секунды,...
• В чем может быть причина выпадения страниц из индекса Google?
Страницы были в индексе Google. Добавили на них текст, позиции и видимость подросли. Через пару дней Google выкидывает их из индекса и теперь они "Просканирована,...
• Как отменить запрос на удаление страницы из индекса?
Если случайно отправили запросы на удаление из индекса нужных страниц через Google Search Console, что сделать чтобы они не вылетели из индекса? Запросы отправлены, но...
• Как обеспечить индексацию всех языковых версий сайта?
Что сделать, чтобы поисковый бот проиндексировал все языковые версии? Как обеспечить корректную и полную индексацию всех версий сайта? Ответ Современные алгоритмы поисковых систем позволяют качественно...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(1 оценок, среднее: 5,00 из 5)