Как сделать анализ индексации крупного информационного сайта?

Ответ

Единственный способ наиболее достоверно узнать сколько страниц сайта в индексе, это Google Search Console. В панели управления вебмастера Google выбираем вкладку «Индексирование», затем — «Страницы». В этом отчете отображается количество и список проиндексированных страниц. Кроме того, тут же показываются и страницы, которые не в индексе по разным причинам:

• Страницы с 404 или 3** кодом сервера: если страница битая или удалена, то поисковый робот со временем выкинет ее из индекса. Тоже самое касается страниц с переадресаций (301 редирект).
• Ошибка сервера (5** код ответа): Если при загрузке страницы возникает ошибка на стороне сервера, то робот просто не сможет просканировать и обработать страницу, так как она не загружается.
• Страницы заблокированы от индексации в robots.txt или noindex.
• Малоценные страницы: сюда относятся смысловые и технические дубли, страницы с get-параметрами, страницы с каноникалом.
• Страницы-сироты: если на страницу не ведут внутренние ссылки и она не добавлена в сайтмап, то бот ее не сможет найти и добавить.

Так как ваш сайт достаточно большой, выгрузить весь список страниц не в индексе с Консоли не получится.

Для этого рекомендуем воспользоваться вспомогательными средствами:

• Проверить индексацию с помощью программ. Такие сервисы, как Screaming Frog Seo или Xenu Links Sleuth автоматически сканируют сайт и показывают страницы, которые не попали в индекс по тем или иным причинам. Чтобы не выгружать весь сайт сразу (что может занять несколько дней), можно разбить сканирование на несколько частей: сначала статьи 2010 года, потом страницы с припиской .html и т.д..
• Специальные онлайн сервисы. Существует большое количество бесплатных онлайн-сервисов для контроля индексации сайта. Кроме того, можно проверить индексацию через Ahrefs и Serpstat.

Еще по теме:

• Нужно ли собирать семантическое ядро для статейного сайта, который ежедневно обновляется?
А нужно ли собирать семантическое ядро для огромного статейного сайта, который ежедневно обновляется и пишет десятки статей? Сайт тематичный и статьи пишутся по теме одного...
• Микроразметка для блоговых статей: какой тип и когда использовать?
Какого типа микроразметку можно использовать для блоговых статей? Поможет ли микроразметка получать расширенные сниппеты или "нулевую" позицию? Как можно еще доработать статьи, чтобы получить более...
• Мешает ли информационный трафик продвижению ИМ по коммерческим запросам?
Есть мнение, что превалирующий информационный трафик на коммерческий сайт (например, сайт производителя мёда и оптовой продажи и блог про мёд, информационный трафик составляет 90%) мешает...
• Какие элементы стоит добавлять информационному сайту для улучшения ранжирования?
Нужно ли добавлять элементы время прочтения статьи, меню с # ссылками, функционал оценки статьи? Насколько это значительные факторы ранжирования? Что ещё обязательно нужно прикрутить к...
• Какие анкоры подбирать для главной страницы информационного ресурса?
Скажите, какой смысл в покупке безанкорных ссылок на главную страницу сайта-статейника? Можно ли с помощью безанкорных ссылок повысить рейтинг сайта, или безанкор годится только для...

---

Анастасия Е.

anastasiia.y@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)