Доступны ли к индексации страницы, если лягушка показывает, что они закрыты x-robots-tag?

Ответ

Сам факт того, что страницы видны через site: оператор не означает, что страницы доступны к индексации и на них нет тега. Это лишь индикатор того, что страницы физически находятся в индексе поисковой системы и, возможно, робот еще не успел их обойти, чтобы обновить статус.

Чтобы понять, в чем именно причина такой проблемы, нужно проверить:

• Как видит бот эти страницы с помощью Search Console. Если X-Robots-Tag есть, то консоль это покажет. Альтернативно можно использовать онлайн-сервисы проверки HTTP-заголовков.
• Сетевые логи в браузере (Network tab в DevTools) при загрузке проблемных страниц — там тоже будут видны все заголовки ответа сервера.

Если по факту тега на страницах нет, но Лягушка показывает их как закрытые от индексации — это явный признак некорректной работы инструмента сканирования или неправильных настроек парсинга.

1️⃣ Различия в User-Agent:
Screaming Frog по умолчанию использует свой User-Agent. Может быть такое, что сервер может отдавать разные заголовки X-Robots-Tag в зависимости от агента. Поменяйте его на User-Agent Googlebot и проверьте результат.

2️⃣ Ошибки в конфигурации:
Неправильные правила в файле .htaccess или в конфигурации Nginx могут приводить к отправке неправильных заголовков X-Robots-Tag. Проверьте эти файлы на наличие ошибок и исправьте их, если необходимо.

3️⃣ Ошибки в Screaming Frog:
Хотя это и менее вероятно, возможны ошибки в самом Screaming Frog. Попробуйте обновить программу до последней версии.

4️⃣ Кэширование заголовков:
Может быть такое, что заголовки X-Robots-Tag закэшировались, из-за чего лягушка их видит, хотя по факту их нет. Попробуйте очистить кэш и пересканировать сайт.

Если проблема не устранится и после этих манипуляций, то попробуйте сканировать сайт с настройкой follow internal «nofollow».

Еще по теме:

• “Страница обнаружена, но не проиндексирована” — как решить проблему?
Как бороться с загадочным "обнаружена, не проиндексирована"? Ответ Сообщение “Страница обнаружена, но не проиндексирована” говорит о том, что ссылка на страницу обнаружена, но пока что...
• Что делать, если статья на сайте не индексируется больше месяца?
Вопрос по поводу индексации. Если я разместил статью и гугл ее не проиндексировал уже как полтора месяца. Стоит ли ее удалить и заново выставить? Другие...
• Что делать, если страницы сайта были спарсены у конкурента без изменений и теперь не попадают в индекс Google?
Имеется интернет-магазин (на open cart), который спарсил 40 000 товаров со своего конкурента ничего не изменив. В индекс страницы практически не заходят (особенно в Google),...
• Как отменить запрос на удаление страницы из индекса?
Если случайно отправили запросы на удаление из индекса нужных страниц через Google Search Console, что сделать чтобы они не вылетели из индекса? Запросы отправлены, но...
• Почему Google плохо индексирует страницы сайта, как улучшить индексацию в Google?
Подскажите, почему Google плохо индексирует страницы? В вебмастере никаких пометок о попадании в фильтр нет. В тоже время Яндекс отлично индексирует и всё вылетает в...