По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• Может ли большое количество технических поддоменов помешать продвижению основного сайта и стоит ли закрывать их от индексации?
Если у сайта есть множество различных поддоменов (личные кабинеты, технические поддомены, поддомены для сотрудников, софт размещенный на поддоменах и т.д.), то могут ли они помешать...
• Работает ли сейчас оператор site: и можно ли с его помощью узнать наиболее релевантную ключу страницу?
Работает ли оператор site: сейчас? Можно ли с его помощью узнать наиболее релевантную страницу ключу? В каких ситуациях его ещё можно использовать? Ответ Оператор site:...
• Как увеличить скорость загрузки сайта за счёт анализа и оптимизации скриптов
Что усложняет загрузку страницы? Если есть возможность, избегаем ненужных скриптов Если скрипт нужен на короткий промежуток времени, не используйте его 360 дней в году Если...
• Как оптимизировать страницы пагинации на сайте
Настройка SEO пагинации Рекомендации поисковиков Актуальные способы настройки пагинации Настройка каноникала на первую страницу Настройка каноникала каждой из страниц на себя Оптимизация каждой страницы пагинации...
• Обзор CMS-систем — какой движок выбрать? Часть 1
При создании сайта мы часто делаем выбор в пользу CMS. Давай попробуем разобраться, чем же обусловлен наш выбор, и как определиться с подходящим инструментом. Предисловие...