По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• Да будет SEO: 4 плагина для оптимизации сайта на WordPress
Рассмотрим SEO-плагины для CMS Wordpress, которые позволяют провести внутреннюю оптимизацию сайта. О некоторых плагинах я уже писала ранее. У плагинов, о которых расскажу в этой...
• Как грамотно составить ТЗ для программиста
1. Назначение, цели ТЗ 2. Общие рекомендации по написанию ТЗ 3. Общая структура ТЗ. От абстракции к конкретике Назначение, цели ТЗ Итак, техническое задание, сокращенно...
• Как правильно перенести контент сайта при переезде на новую CMS, чтобы поисковики не восприняли его как неуникальный?
Есть тематический сайт (услуги косметолога) на Wordpress. Контент уникальный, качественный с 2012 года. Планирую уйти на иную CMS. Как правильно перенести контент, чтобы поисковики не...
• Влияет ли домен на продвижение? Инструкции по выбору домена для сайтов
Содержание: Как доменное имя влияет на продвижение? Влияет ли кириллический домен на продвижение? Влияет ли доменная зона на продвижение? Какой возраст домена считается хорошим для...
• Как правильно и эффективно составлять атрибут Alt?
Как составлять АЛЬТЫ? Какой процент альтов включает ГЗ? Какая должна быть длина, какой контекст? Ответ Чтобы атрибут Alt был эффективен как для пользователей, так и...