По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• Разделять ли все технические пункты со страницы контактов на отдельные посадочные и как микроразметка влияет на ранжирование?
Есть интернет магазин, который занимается продажей цветов. При создании структуры отвели одну "техническую " страницу, на которой разместили информацию "О нас", "Контакты", "Доставка" и т.д....
• Как закрыть от индексации тестовый SPA сайт и выкинуть из индекса страницы?
Есть тестовый SPA сайт. Программисты его изначально не закрыли от индексации. Сейчас очень много страниц сайта попало в индекс. Как правильно сделать, чтобы и сайт...
• Насколько важный фактор для SEO соответствие верстки сайта стандартам w3c?
Насколько важный фактор для SEO соответствие верстки сайта стандартам w3c? Ответ Соответствие верстки сайта стандартам w3c не является прямым фактором ранжирования, но косвенно действительно может...
• Error 404 — что значит, как найти и исправить ошибку
В этой статье мы разберём, что такое 404 ошибка, когда и каким образом она может навредить и как её отследить, а также приведём перечень рекомендаций...
• Безопасный переезд сайта с http на https в Яндексе и Google
В последние время всё больше владельцев проектов задумываются о переводе сайтов на защищённый протокол. Не перестают напоминать об этом и представители поисковых систем. Яндекс пока...