По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• Обновление PageSpeed Insights: что изменилось, на какие метрики обращать внимание?
1. Обновленный PageSpeed Insights Оценка скорости загрузки Данные наблюдений Имитация загрузки страницы Оптимизация Диагностика и успешные аудиты 2. Итоги Ни для кого не секрет, что...
• Как закрыть от индексации тестовый SPA сайт и выкинуть из индекса страницы?
Есть тестовый SPA сайт. Программисты его изначально не закрыли от индексации. Сейчас очень много страниц сайта попало в индекс. Как правильно сделать, чтобы и сайт...
• HTTP-заголовки, которые влияют на SEO
Скорее всего, вы знаете, что при открытии страницы любого сайта происходят действия на сервере, которые не видны пользователям. Однако эти данные обрабатывают поисковые системы. И...
• Как правильно организовать страницу фильтра, если наборов фильтров очень много?
Как правильно организовать страницу фильтра на продающем сайте, если наборов фильтров очень много, стоит ли делать канонические урлы для таких страниц, что бы как-то уменьшить...
• Как правильно и эффективно составлять атрибут Alt?
Как составлять АЛЬТЫ? Какой процент альтов включает ГЗ? Какая должна быть длина, какой контекст? Ответ Чтобы атрибут Alt был эффективен как для пользователей, так и...