Как и чем анализировать логи сайта?

Ответ

Мы используем для анализа логов Excel и Power BI, так как, по нашему мнению, там это сделать проще всего.

Power BI – бесплатный, удобная визуализация данных, можно объединять несколько логов в один, широкие возможности по работе с типами данных, их моделированию.
С помощью анализа логов мы можем определить:

• страницы, на которые чаще всего заходят боты (на такие страницы, к примеру, будет полезно размещать ссылки на новые страницы или страницы с недостаточным весом);
• какие именно боты заходят на сайт (мобильные, десктопные, их User-Agent);
• на какие страницы и как расходуется краулинговый бюджет;
• попадает ли бот на нужные нам страницы;
• мусорные страницы, которые не удалось выявить при парсе;
• технические проблемы – ошибки с редиректами, битые страницы;
• частоту и даты заходов ботов, в какое время наибольшая нагрузка.

Также это полезно в том случае, если наблюдается спамный трафик на сайт – с помощью логов мы можем вычислить подозрительные IP-адреса и заблокировать их.

Главное, что нужно сделать перед анализом логов – понять, зачем Вы его проводите, тогда Вы в них не запутаетесь. Для начала можно попробовать вычислить подозрительные переходы на сайт и проверить, на какие страницы чаще всего ходят боты, чтобы при необходимости направить их в нужное русло и тем самым правильно распределить краулинговый бюджет.

А как это сделать, мы подробно разобрали в нашей статье «Анализ логов сайта с помощью Power BI: пошаговая инструкция».

Еще по теме:

• Почему в тревел блогах вложенность URL не соответствует вложенности структуры сайта?
Вопрос по блогу. Хотим создать свой тревел-блог и вижу, что все блоги имеют одинаковую структуру такого формата (отображается весь путь категории из 3-4 папок. Но...
• Как устранить дублирование запроса на несколько страниц?
Есть ИМ, у которого самый жирный запрос на главной странице, но под него же есть посадочная в каталоге. Понятно, что идет перебивка, но запрос +-...
• Как продвигать страницы по транслитерированным запросам?
Подскажите, как продвигать страницы по транслитерированным запросам? Например, запросы Samsung Galaxy и Самсунг Гелекси должны быть на одной странице? Нужно вставлять в текст страницы запрос...
• Запуск нового сайта: за чем следить в первое время и чего опасаться?
За какими показателями нужно пристально наблюдать в первое время после запуска нового сайта, чего опасаться? Ответ В первое время необходимо проверять следующие показатели: Индексацию сайта....
• Какие ссылки покупать, если региональные доноры закончились?
Как заниматься линкбилдингом для локального бизнеса? Что делать, если локальных доноров нет, будет ли отдача от доноров из других регионов, внутри одной страны? Ответ Если...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)