Как и чем анализировать логи сайта?

Ответ

Мы используем для анализа логов Excel и Power BI, так как, по нашему мнению, там это сделать проще всего.

Power BI – бесплатный, удобная визуализация данных, можно объединять несколько логов в один, широкие возможности по работе с типами данных, их моделированию.
С помощью анализа логов мы можем определить:

• страницы, на которые чаще всего заходят боты (на такие страницы, к примеру, будет полезно размещать ссылки на новые страницы или страницы с недостаточным весом);
• какие именно боты заходят на сайт (мобильные, десктопные, их User-Agent);
• на какие страницы и как расходуется краулинговый бюджет;
• попадает ли бот на нужные нам страницы;
• мусорные страницы, которые не удалось выявить при парсе;
• технические проблемы – ошибки с редиректами, битые страницы;
• частоту и даты заходов ботов, в какое время наибольшая нагрузка.

Также это полезно в том случае, если наблюдается спамный трафик на сайт – с помощью логов мы можем вычислить подозрительные IP-адреса и заблокировать их.

Главное, что нужно сделать перед анализом логов – понять, зачем Вы его проводите, тогда Вы в них не запутаетесь. Для начала можно попробовать вычислить подозрительные переходы на сайт и проверить, на какие страницы чаще всего ходят боты, чтобы при необходимости направить их в нужное русло и тем самым правильно распределить краулинговый бюджет.

А как это сделать, мы подробно разобрали в нашей статье «Анализ логов сайта с помощью Power BI: пошаговая инструкция».

Еще по теме:

• Стоит ли крутить поведенческие факторы в Google и накладывает ли санкции за это ПС?
Банит ли Google за накрутку поведенческих факторов? Может у него есть специальный фильтр? И стоит ли вообще рисковать или игра не стоит свеч? Ответ В...
• Почему страницы пагинации ранжируются выше страниц категорий?
Есть ИМ, по запросам он ведет почему-то на страницы пагинации, при чем они с канониклом на раздел. В чем может быть причина такого ранжирования? Должно...
• Что делать, если успешный ранее новостной агрегатор не работал несколько месяцев, потеряв половину страниц из индекса?
Был англоязычный новостной агрегатор, который проработал полтора года, набирал аудиторию, получал естественные бэки с жирных и средних сайтов. В индексе Google было 1М страниц. В...
• Какими сервисами можно определить качество сайтов?
Насколько объективным является показатель DA в Ahrefs? По каким показателям ещё можно качество сайтов определять? Ответ DA - авторитет домена, который в сервисе Ahrefs обозначается...
• Какими сервисами можно проверить индексацию проставленных ссылок?
Работаем над ссылочным профилем, размещаем ссылки. Подскажите, какими сервисами или программами можно проверить индексацию проставленных ссылок? Ответ Самый простой способ проверить индексацию ваших ссылок это...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)