Как и чем анализировать логи сайта?

Ответ

Мы используем для анализа логов Excel и Power BI, так как, по нашему мнению, там это сделать проще всего.

Power BI – бесплатный, удобная визуализация данных, можно объединять несколько логов в один, широкие возможности по работе с типами данных, их моделированию.
С помощью анализа логов мы можем определить:

• страницы, на которые чаще всего заходят боты (на такие страницы, к примеру, будет полезно размещать ссылки на новые страницы или страницы с недостаточным весом);
• какие именно боты заходят на сайт (мобильные, десктопные, их User-Agent);
• на какие страницы и как расходуется краулинговый бюджет;
• попадает ли бот на нужные нам страницы;
• мусорные страницы, которые не удалось выявить при парсе;
• технические проблемы – ошибки с редиректами, битые страницы;
• частоту и даты заходов ботов, в какое время наибольшая нагрузка.

Также это полезно в том случае, если наблюдается спамный трафик на сайт – с помощью логов мы можем вычислить подозрительные IP-адреса и заблокировать их.

Главное, что нужно сделать перед анализом логов – понять, зачем Вы его проводите, тогда Вы в них не запутаетесь. Для начала можно попробовать вычислить подозрительные переходы на сайт и проверить, на какие страницы чаще всего ходят боты, чтобы при необходимости направить их в нужное русло и тем самым правильно распределить краулинговый бюджет.

А как это сделать, мы подробно разобрали в нашей статье «Анализ логов сайта с помощью Power BI: пошаговая инструкция».

Еще по теме:

• Влияет ли рекламный трафик на индексирование и ранжирование?
Может ли реклама в соц. сетях или в Я.Директе улучшить индексацию сайта? И есть ли влияние просто на ранжирование страниц, на которые мы закупаем рекламу?...
• Какие есть рекомендации по добавлению партнерских ссылок на сайте, чтобы не попасть под санкции ПС?
Как вставлять ссылки на партнёрки на сайте, чтобы ПС не накладывали санкции? Есть ли у ПС рекомендации для этого? Ответ Если контент на страницах с...
• Полезны ли крауд-ссылки с одинаковым текстом с разных сайтов?
Насколько полезны крауд ссылки с одинаковым текстом? Т.е. ссылки с разных сайтов (блоки комментариев), есть очень хорошие форумы, но текст не уникален. Ответ Мы считаем,...
• Влияет ли количество внутренних ссылок на ранжирование и на какие страницы стоит ставить ссылки с меню и футера?
Влияет ли количество внутренних ссылок на страницу на её ранжирование? На какие страницы лучше ставить сквозные ссылки с меню или футера? Для чего ненужным страницам,...
• Какой поисковый запрос лучше использовать — с указанием города или без?
Какой поисковый запрос лучше использовать — с указанием города или без? Например, "вывоз мусора" или "вывоз мусора в Москве"? Обязательно ли нужно указывать топоним в...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)