По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• Как обеспечить индексацию динамического AJAX-контента в модальном окне?
Хочу сделать информацию о проекте в модальном окне. Содержимое окна будет погружаться AJAXом. Как на это среагируют поисковики? Как обеспечить индексирование информации в этих окнах?...
• Как правильно организовать страницу фильтра, если наборов фильтров очень много?
Как правильно организовать страницу фильтра на продающем сайте, если наборов фильтров очень много, стоит ли делать канонические урлы для таких страниц, что бы как-то уменьшить...
• Какие возможные последствия, если на сайте убрать функционал корзины и сделать форму заявки на получение оптового прайса?
Есть сайт интернет-магазин, с большим каталогом товаров, нацеленный на мелкий опт(принимаются заказы только от 300-400 $). В листинге товаров, есть кнопка быстрого добавления в корзину,...
• SEO чек-лист: что проверять перед запуском сайта?
1. Что проверить перед запуском сайта 1.1. Основные моменты 1.2. Технические аспекты 2. За чем следить после запуска сайта 2.1. Поведенческие факторы 2.2. Наличие фильтров...
• Как увеличить скорость загрузки сайта за счёт анализа и оптимизации скриптов
Что усложняет загрузку страницы? Если есть возможность, избегаем ненужных скриптов Если скрипт нужен на короткий промежуток времени, не используйте его 360 дней в году Если...