Как сделать анализ индексации крупного информационного сайта?

Ответ

Единственный способ наиболее достоверно узнать сколько страниц сайта в индексе, это Google Search Console. В панели управления вебмастера Google выбираем вкладку «Индексирование», затем — «Страницы». В этом отчете отображается количество и список проиндексированных страниц. Кроме того, тут же показываются и страницы, которые не в индексе по разным причинам:

• Страницы с 404 или 3** кодом сервера: если страница битая или удалена, то поисковый робот со временем выкинет ее из индекса. Тоже самое касается страниц с переадресаций (301 редирект).
• Ошибка сервера (5** код ответа): Если при загрузке страницы возникает ошибка на стороне сервера, то робот просто не сможет просканировать и обработать страницу, так как она не загружается.
• Страницы заблокированы от индексации в robots.txt или noindex.
• Малоценные страницы: сюда относятся смысловые и технические дубли, страницы с get-параметрами, страницы с каноникалом.
• Страницы-сироты: если на страницу не ведут внутренние ссылки и она не добавлена в сайтмап, то бот ее не сможет найти и добавить.

Так как ваш сайт достаточно большой, выгрузить весь список страниц не в индексе с Консоли не получится.

Для этого рекомендуем воспользоваться вспомогательными средствами:

• Проверить индексацию с помощью программ. Такие сервисы, как Screaming Frog Seo или Xenu Links Sleuth автоматически сканируют сайт и показывают страницы, которые не попали в индекс по тем или иным причинам. Чтобы не выгружать весь сайт сразу (что может занять несколько дней), можно разбить сканирование на несколько частей: сначала статьи 2010 года, потом страницы с припиской .html и т.д..
• Специальные онлайн сервисы. Существует большое количество бесплатных онлайн-сервисов для контроля индексации сайта. Кроме того, можно проверить индексацию через Ahrefs и Serpstat.

Еще по теме:

• Как разбивать семантику для информационных статей: на лонгриды или маленькие статьи?
Как разбивать семантику для информационных статей? По одной теме может быть как лонгрид, охватывающий всю семантику, так и маленькие статьи на каждый подпункт. Что выбрать?...
• Можно ли в семантике информационного сайта использовать коммерческие запросы?
Подскажите, пожалуйста, есть информационный сайт по обзору различных товаров, на котором стоят партнерские ссылки на эти товары. Можно ли при составлении СЯ использовать коммерческие запросы...
• Какой тип страницы продвигать: информационную или коммерческую при смешанной выдаче?
Обычно рекомендуют коммерческие запросы разделять на разных страницах с информационными. Столкнулся с тем, что коммерческие пересекаются с информационными. Допустим в Яндексе вбиваю "лечение кариеса" и...
• Нужно ли делить собранную семантику на несколько статей?
Для молодого сайта (свежерег, кулинарный блог) стоит в статьях собирать максимальный пул семантики или собранную семантику делить на несколько статей и делать более узконаправленные статьи?...
• Что делать, если успешный ранее новостной агрегатор не работал несколько месяцев, потеряв половину страниц из индекса?
Был англоязычный новостной агрегатор, который проработал полтора года, набирал аудиторию, получал естественные бэки с жирных и средних сайтов. В индексе Google было 1М страниц. В...

---

Анастасия Е.

anastasiia.y@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)