По каким причинам Google не хочет индексировать страницы сайта и что делать в таком случае?

Ответ

Если у вас уже корректно настроены карта сайта sitemap.xml, внутренняя перелинковка и есть первичные внешние ссылки, но Google упорно не индексирует страницы (кроме главной), то для начала посмотрите отчеты “Покрытие” и “Страницы в индексе” и вы увидите, какие url обнаружены, но не проиндексированы, и возможные причины этого.

Самые распространенные причины:

• ошибка сервера (5xx)
• ошибка переадресации
• доступ к URL заблокирован в файле robots.txt
• страница содержит директиву noindex
• ошибка (404)
• страница просканирована, но пока не проиндексирована (страницы низкого качества)
• обнаружена, не проиндексирована
• страница является копией

Далее в зависимости от выявленных проблем, вы будете лучше понимать, что стоит предпринять в вашей ситуации. Среди стандартных мер рекомендуем следующее:

1. Проверьте robots.txt на наличие случайных блокировок индексации (Disallow).
2. Убедитесь, что meta robots на страницах установлен правильно (нет ли noindex или nofollow).
3. Регулярно обновляйте контент сайта. Если вы делаете новые публикации и обновляете уже существующие, это стимулирует робота заходить чаще. Также отзывы на товары или услуги расценивается Google, как новый контент. Уникальность контента 70% не критически низко, но желательно повысить. Чем выше уникальность и глубина материала, тем охотнее Google индексирует.
4. Несколько качественных ссылок с тематических ресурсов могут сильно ускорить индексацию, особенно если эти сайты сами хорошо индексируются.
5. Добавьте сайт в тематические каталоги с хорошей репутацией.
6. Социальные сети (Facebook, Twitter, LinkedIn, Instagramm и пр.) помогают привлечь роботов и пользователя на ваш сайт. Делайте анонсы новых статей, используйте ссылки на сайт.
7. Проверьте адаптивность под мобильные устройства, проблемы в mobile-first индексации часто тормозят общий процесс.

А иногда, для нового сайта, самым действенным способом является просто ожидание. “Песочница” может продолжаться и 3-4 месяца.

Еще по теме:

• Доступны ли к индексации страницы, если лягушка показывает, что они закрыты x-robots-tag?
Лягушка не сканирует метатеги и показывает, что страницы закрыты x-robots-tag, но в индексе, если проверять страницы через site: поисковики выдают эти страницы - почему так?...
• Почему через оператор site страницу не находит в поиске Google?
По данным Google вебмастера страница есть в индексе, но через оператор site:site.com "название товара" не находит в поиске. Почему такое может быть? Ответ То, что...
• Как увеличить скорость индексирования сайта в Google?
Гугл проиндексировал 165 страниц из 2520, одно время максимум было в индексе (в GSC) 500 страниц, но происходит постоянное наполнение интернет-магазина товаром и всё больше...
• Что делать, если робот просканировал нерабочий сайт?
Если сайт словил пессимизацию из-за того, что был проиндексирован в нерабочем состоянии, какова вероятность и сколько времени нужно для восстановления позиций в Google? Как помочь...
• Как можно скрыть от индексации меню и часть категорий на странице?
Как можно скрыть от индексации меню? Есть сайт с большим выпадающим меню. Как скрыть часть категорий, чтобы они не участвовали в текстовом анализе на странице?...

---

Юлия К.

doctor@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)