Как и чем анализировать логи сайта?

Ответ

Мы используем для анализа логов Excel и Power BI, так как, по нашему мнению, там это сделать проще всего.

Power BI – бесплатный, удобная визуализация данных, можно объединять несколько логов в один, широкие возможности по работе с типами данных, их моделированию.
С помощью анализа логов мы можем определить:

• страницы, на которые чаще всего заходят боты (на такие страницы, к примеру, будет полезно размещать ссылки на новые страницы или страницы с недостаточным весом);
• какие именно боты заходят на сайт (мобильные, десктопные, их User-Agent);
• на какие страницы и как расходуется краулинговый бюджет;
• попадает ли бот на нужные нам страницы;
• мусорные страницы, которые не удалось выявить при парсе;
• технические проблемы – ошибки с редиректами, битые страницы;
• частоту и даты заходов ботов, в какое время наибольшая нагрузка.

Также это полезно в том случае, если наблюдается спамный трафик на сайт – с помощью логов мы можем вычислить подозрительные IP-адреса и заблокировать их.

Главное, что нужно сделать перед анализом логов – понять, зачем Вы его проводите, тогда Вы в них не запутаетесь. Для начала можно попробовать вычислить подозрительные переходы на сайт и проверить, на какие страницы чаще всего ходят боты, чтобы при необходимости направить их в нужное русло и тем самым правильно распределить краулинговый бюджет.

А как это сделать, мы подробно разобрали в нашей статье «Анализ логов сайта с помощью Power BI: пошаговая инструкция».

Еще по теме:

• Какое количество статейных ссылок закупать на сайт ежемесячно и через какое время ожидать результат?
Стоит ли покупать по 8-10 ссылок на сайт (статейных) ежемесячно? Какое количество ссылок оптимально закупать на сайт ежемесячно и через сколько можно ждать результат? Ответ...
• Как поисковики обрабатывают скрытое меню и тексты?
Нормально ли боты ПС переходят по выпадающему списку "select". Как боты обрабатывают скрытые ссылки в табах? Такая реализация планируется на мобильных устройствах, на десктопе будет...
• Работает ли в Яндексе продвижение ссылками?
Работает ли в Яндексе продвижение ссылками? Планирую попробовать продвинуть страницу анкорные арендными ссылками под Яндекс (Google не важен). При закупке ссылок под Яндекс какие моменты...
• Как решить вопрос каннибализации коммерческой и информационной страницы, оставив обе страницы
Классическая ситуация каннибализации: блог и коммерческая страницы ранжируются по одним и тем же запросам. Подскажите, как решить ситуацию и сохранить обе страницы, так как и...
• Что делать со страницами c get-параметрами?
Есть сайт агрегатор. На карточку какой-либо компании с некоторых страниц идут простые ссылки, а с некоторых ссылки с параметром (например: /url-kartochki?idcomp=1) Как лучше указать в...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)