Как и чем анализировать логи сайта?

Ответ

Мы используем для анализа логов Excel и Power BI, так как, по нашему мнению, там это сделать проще всего.

Power BI – бесплатный, удобная визуализация данных, можно объединять несколько логов в один, широкие возможности по работе с типами данных, их моделированию.
С помощью анализа логов мы можем определить:

• страницы, на которые чаще всего заходят боты (на такие страницы, к примеру, будет полезно размещать ссылки на новые страницы или страницы с недостаточным весом);
• какие именно боты заходят на сайт (мобильные, десктопные, их User-Agent);
• на какие страницы и как расходуется краулинговый бюджет;
• попадает ли бот на нужные нам страницы;
• мусорные страницы, которые не удалось выявить при парсе;
• технические проблемы – ошибки с редиректами, битые страницы;
• частоту и даты заходов ботов, в какое время наибольшая нагрузка.

Также это полезно в том случае, если наблюдается спамный трафик на сайт – с помощью логов мы можем вычислить подозрительные IP-адреса и заблокировать их.

Главное, что нужно сделать перед анализом логов – понять, зачем Вы его проводите, тогда Вы в них не запутаетесь. Для начала можно попробовать вычислить подозрительные переходы на сайт и проверить, на какие страницы чаще всего ходят боты, чтобы при необходимости направить их в нужное русло и тем самым правильно распределить краулинговый бюджет.

А как это сделать, мы подробно разобрали в нашей статье «Анализ логов сайта с помощью Power BI: пошаговая инструкция».

Еще по теме:

• Важна ли уникальность текста при покупке крауд ссылок или ссылок с каталогов и справочников?
Проставляю ссылки в профилях, директориях и т.п. Подскажите, стоит ли заморачиваться и на каждом сайте делать уникальное описание (текстовку) или можно один вариант для всех...
• Как составить ссылочную стратегию для многостраничного сайта?
Месяц назад запустили информационный сайт, на нём сейчас 1200 страниц, всего будет около 20000, может больше. Как в случае с таким объёмом страниц правильнее выстроить...
• Как быстро раскачивать новый домен без истории?
Насколько сложно раскачивать чистый домен без истории? И как новый домен влияет на индексацию страниц? Ответ Многое зависит от тематики, по которой вы будете продвигать...
• Нужно ли следить за ГЕО домена-донора при покупке ссылок?
Всегда старался иметь ссылки с площадок моего ГЕО. Но есть подозрение, что Google не особо на это обращает внимание. Какое у вас мнение? В теории...
• Как глубина страницы влияет на ранжирование?
Такой вопрос, насколько я понимаю, чем дальше страница от главной, тем менее приоритетной гугл ее считает, и crawl depth влияет на ранжирование и трафик. А...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)