По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• Error 404 — что значит, как найти и исправить ошибку
В этой статье мы разберём, что такое 404 ошибка, когда и каким образом она может навредить и как её отследить, а также приведём перечень рекомендаций...
• Какой код ответа ставить на страницы сайта, если стоит заглушка на доступ из других стран?
Стоит заглушка на сайте, что контент в стране недоступен для всех стран, кроме страны регистрации сайта (по требованию правообладателей). Какой код ответа лучше ставить на...
• Может ли большое количество технических поддоменов помешать продвижению основного сайта и стоит ли закрывать их от индексации?
Если у сайта есть множество различных поддоменов (личные кабинеты, технические поддомены, поддомены для сотрудников, софт размещенный на поддоменах и т.д.), то могут ли они помешать...
• Как блокировка отображения сайта в iframe на сторонних ресурсах влияет на ранжирование сайта?
Веб-мастера сделали блокировку отображения сайта в iframe на сторонних ресурсах. После чего видимость немного ухудшилась. Вопрос: влияет ли такой запрет на ранжирование сайта? Ответ Напрямую...
• Да будет SEO: 4 плагина для оптимизации сайта на WordPress
Рассмотрим SEO-плагины для CMS Wordpress, которые позволяют провести внутреннюю оптимизацию сайта. О некоторых плагинах я уже писала ранее. У плагинов, о которых расскажу в этой...