Как автоматизировать проверку индексации страниц?

Ответ

Если речь идет о точечной проверке индексации контента на странице, то можем порекомендовать использовать XPath. Например, с помощью функции ImportXML можно выгрузить в Google Sheets фрагменты контента у которых стоит атрибут (noindex) и таким образом определить какая именно информация на странице закрыта от поисковой индексации. Подробная инструкция есть у нас в статье “Парсим сайт при помощи XPath”.

Если речь идет о проверке индексации страниц сайта в целом, то кроме проверки вручную разметки (кода), существует целый ряд способов:

1. При помощи расширений браузера (например: SimilarWeb, MozBar, RDS bar). Они позволяют в несколько кликов проанализировать индексацию вашей страницы. Также существует возможность создавать кастомные скрипты и устанавливать их в закладки браузера (так называемые букмарклеты), которые могут вам помочь в сборе информации об индексации. Подробнее о плагинах мы рассказывали в нашем блоге 11 полезных расширений для SEO-специалиста и 10 настроек плагина RDS Bar.

2. С помощью сервисов для парсинга (например: Netpeak Spider, Screaming frog и тд). Перечисленные программы оснащены большим количеством полезных инструментов, которые удобным образом в автоматическом режиме могут собирать и структурировать данные о вашем сайте, в частности на наличие ошибок, проблем с индексацией и прочее. Данные программы могут стать удобным помощником в техническом анализе вашего ресурса на предмет ошибок. Информацию о использовании парсеров вы можете найти тут.

3. Ручная проверка через поисковую строку (с помощью расширенных операторов поиска). Один из простых и действенных способов, который может вам помочь в проверке индексации вашего контента на сайте (например, достаточно ввести оператор inurl с нужным вам фрагментом контента на странице, и вы сможете убедится, есть ли он в индексе). Также, посмотрев сохраненную копию страницы в поисковой выдаче, можно увидеть, как именно страница и какая информация на ней сохранена в индексе ПС. Подробнее о поисковых операторах в статье 10 примеров применения операторов поиска Яндекс и Google.

4. Яндекс.Вебмастер (Индексирование) и Google Search Console (Покрытие). Наверное, один из самых достоверных и надежных способов проверки индексации. Благодаря обширной информации из ресурсов веб-мастеров вы сможете узнать количество страниц, у которых была выявлена проблема индексации, и их краткое описание, проанализировать статистику и скорость обхода страниц поисковыми ботами, отслеживать изменения на важных и продвигаемых URL. Настоятельно рекомендуем вам взаимодействовать с данными сервисами, так как они отлично помогают следить за количественными и качественными метриками вашего сайта.

Еще по теме:

• Почему в Google не индексируется новый сайт?
Выкатили сайт, но он не индексируется в Google уже почти три месяца. В индексе две страницы, GSC пишет: исключено 61 страница, ошибка “Обнаружена, не проиндексирована”....
• Как проверить: просканировал ли Google страницу?
Как определить: Google знает о существовании страницы, но еще ее не проиндексировал или он вообще еще не был на этой странице? Ответ URL может иметь...
• Почему страницы получают статус «Проиндексировано, несмотря на блокировку в файле robots.txt»?
В GSC у части страниц статус "Проиндексировано, несмотря на блокировку в файле robots.txt". Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить...
• Как ускорить индексацию молодого сайта в Google?
Есть мнение, что Google не сильно торопится индексировать новые сайты. Правда ли это и как можно быстро скормить новенький ИМ Google? Какие действия помогут? Ответ...
• Передает ли вес главная страница на страницы, закрытые от индексации?
Подскажите, пожалуйста, передается ли вес с главной страницы на страницы, которые закрыты от индексации? Ответ Главная страница действительно теряет некоторый вес через любые внутренние ссылки....

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)