Как и чем анализировать логи сайта?

Ответ

Мы используем для анализа логов Excel и Power BI, так как, по нашему мнению, там это сделать проще всего.

Power BI – бесплатный, удобная визуализация данных, можно объединять несколько логов в один, широкие возможности по работе с типами данных, их моделированию.
С помощью анализа логов мы можем определить:

• страницы, на которые чаще всего заходят боты (на такие страницы, к примеру, будет полезно размещать ссылки на новые страницы или страницы с недостаточным весом);
• какие именно боты заходят на сайт (мобильные, десктопные, их User-Agent);
• на какие страницы и как расходуется краулинговый бюджет;
• попадает ли бот на нужные нам страницы;
• мусорные страницы, которые не удалось выявить при парсе;
• технические проблемы – ошибки с редиректами, битые страницы;
• частоту и даты заходов ботов, в какое время наибольшая нагрузка.

Также это полезно в том случае, если наблюдается спамный трафик на сайт – с помощью логов мы можем вычислить подозрительные IP-адреса и заблокировать их.

Главное, что нужно сделать перед анализом логов – понять, зачем Вы его проводите, тогда Вы в них не запутаетесь. Для начала можно попробовать вычислить подозрительные переходы на сайт и проверить, на какие страницы чаще всего ходят боты, чтобы при необходимости направить их в нужное русло и тем самым правильно распределить краулинговый бюджет.

А как это сделать, мы подробно разобрали в нашей статье «Анализ логов сайта с помощью Power BI: пошаговая инструкция».

Еще по теме:

• Почему по менее частотному запросу можно получить больше переходов при равных позициях?
В Яндексе есть коммерческий запрос с частотой "!" 207 человек в месяц, выдача вся коммерция, сайты такие же как мой. Я на 4-ом месте и...
• Актуально ли сейчас использовать хрумер для ссылок
Актуально ли сейчас использовать хрумер и подобные инструменты? Можно ли их использовать для прокачки, например, 2 или 3 уровня ссылок? Насколько эффективен такой подход? Ответ...
• Влияют ли изображения из слайдера на скорость загрузки листинга?
Есть возможность сделать галерею из фотографий прямо на страницах листинга. Идея кажется заманчивой до тех пор, пока не вспоминаю про скорость загрузки и индексацию. Подскажите,...
• Настраивать ли редиректы, если внешняя ссылка стоит на несуществующую страницу сайта?
Нужно ли настраивать редиректы, если внешняя ссылка стоит на несуществующую страницу сайта? Что делать, если таких ссылок много? Ответ Если вы видите, что достаточно больше...
• Как ранжируются сайты-агрегаторы и как улучшить позиции такого сайта в выдаче?
Есть ли особенности ранжирования агрегаторов или они ранжируются как и обычные сайты? Есть сайт-агрегатор, который занимает 5-20 позиции, но в стабильный ТОП войти не может,...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)