Как и чем анализировать логи сайта?

Ответ

Мы используем для анализа логов Excel и Power BI, так как, по нашему мнению, там это сделать проще всего.

Power BI – бесплатный, удобная визуализация данных, можно объединять несколько логов в один, широкие возможности по работе с типами данных, их моделированию.
С помощью анализа логов мы можем определить:

• страницы, на которые чаще всего заходят боты (на такие страницы, к примеру, будет полезно размещать ссылки на новые страницы или страницы с недостаточным весом);
• какие именно боты заходят на сайт (мобильные, десктопные, их User-Agent);
• на какие страницы и как расходуется краулинговый бюджет;
• попадает ли бот на нужные нам страницы;
• мусорные страницы, которые не удалось выявить при парсе;
• технические проблемы – ошибки с редиректами, битые страницы;
• частоту и даты заходов ботов, в какое время наибольшая нагрузка.

Также это полезно в том случае, если наблюдается спамный трафик на сайт – с помощью логов мы можем вычислить подозрительные IP-адреса и заблокировать их.

Главное, что нужно сделать перед анализом логов – понять, зачем Вы его проводите, тогда Вы в них не запутаетесь. Для начала можно попробовать вычислить подозрительные переходы на сайт и проверить, на какие страницы чаще всего ходят боты, чтобы при необходимости направить их в нужное русло и тем самым правильно распределить краулинговый бюджет.

А как это сделать, мы подробно разобрали в нашей статье «Анализ логов сайта с помощью Power BI: пошаговая инструкция».

Еще по теме:

• Учитываются и нужно ли отклонять ссылки с одинаковым текстом и анкорами?
Появилось очень много ссылок с одинаковым текстом и одинаковыми анкорами. Анкоры тематичные, но таких ссылок уже больше 50%. Учитываются ли они и нужно ли их...
• Накапливает ли страница с GET параметром ПФ и передаёт ли их странице-родителю?
Страница с GET параметром передаёт ПФ-ки странице-родителю? Например, страница сайт.ру/категория?GET будет передавать пф-ки странице сайт.ру/категория? А если страница с GET параметрами закрыта при этом от...
• К чему может привести смешивание контента на двух языках на одной странице сайта?
Можно ли на странице сайта публиковать контент сразу на двух языках (на украинском и ниже такой же, но на английском, с пометкой "for English-speaking visitors",...
• Что учесть при создании раздела форума на сайте?
Обычно не рекомендуют создавать на основном сайте разделы с форумом, т.к. он может потянуть сайт на дно из-за низкого качества контента, размещенного на нем. Верно...
• Влияют ли блоки «Акции», «С этим часто покупают» и т.д. на релевантность карточки товара?
На страницах товара есть большое количество блоков, таких как "Акции", "С этим часто покупают" и т.д. В каждом таком блоке есть товары с названием и...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)