По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• 6 плагинов для ускорения сайта на WordPress
Плагины, которые мы рассмотрим в этой статье, необходимо использовать для того, чтобы ускорить работу сайта и, как следствие, сделать его более удобным /привлекательным для пользователей....
• Зачем подставлять utm метку при переходе из органической выдачи?
Зачем может потребоваться подставлять utm метку при переходе из органической выдачи? Пример ссылки: https://www.site.com/d/?utm_source=google&utm_medium=organic&utm_campaign=google&utm_referrer=google Ответ Utm метки используются для отслеживания источников трафика на сайте. Чаще...
• Структура коммерческого сайта и SEO
Структура сайта и её влияние на SEO Этапы построения структуры сайта мозговой штурм анализ лидеров ниши сбор и кластеризация семантики прорисовка структуры и навигации Распространённые...
• Можно ли в мобильной версии применять display none для скрытия дубля меню?
На сайте есть главное меню товаров, я скопировал его для мобильной версии. Мобильное меню я спрятал под медиа запрос display: none, просто главное меню слишком...
• Как правильно для SEO реализовать прелоадер на сайте?
Реализовали прелоудер, который есть по умолчанию, оверлеем накладывается поверх всего и после загрузки страницы ((window).load ) скрывается JS-ом. Вопрос: как будет на это реагировать гуглбот,...