Почему Google краулит ссылки с index.php, если на них нет прямых ссылок в html и как сделать, чтобы он их не находил?

Ответ

Почему Google может находить такие ссылки:

• PHP-ссылки скрыто выводятся или генерируются в HTML/JS внутри блоков, которые не видно при обычном просмотре страницы (например, в системных переменных JS, массивах для динамических меню или формах).
• Если эти ссылки когда-то (даже годы назад) были доступны напрямую в HTML, Google запомнил их. Иногда боты могут годами переходить по старым адресам из своей базы, даже если на сайте не осталось ни одного упоминания.
• Часто CMS автоматически генерирует карту сайта (Sitemap.xml), включая туда системные URL с index.php.
• Эти URL могли получить сторонние сайты, или ими поделились в соцсетях/мессенджерах, а Google увидел эти ссылки.

Наличие ссылок с index.php в индексе негативно влияет на продвижение сайта, скорее всего, эти страницы являются полными дублями других продвигаемых страниц, а к дублям у ПС отношение явно негативное.

Лучше от таких ссылок избавляться:

— проверьте реальный рендеринг страниц и скриптов при помощи скриншотов в GSC;
— проверьте карту сайта на наличие таких ссылок;
— укажите 301 редирект со страниц index.php на релевантные, и пользователи и роботы будут всегда попадать на нужную страницу;
— замените страницы index.php во всех местах, где они указаны, нет ссылок на эти страницы – нет проблем;
— запретите индексацию этих страниц в файле robots, даже если робот попадет на эту страницу, её будет запрещено индексировать.

Еще по теме:

• Где эффективнее размещать обзоры к новым товарам интернет-магазина?
Есть интернет магазин. Появляется несколько позиций нового товара. Пишем на них обзор. Вопрос: где лучше разместить обзор? На сайте, в соц. сетях, на статейной бирже...
• Эффективны ли внешние JavaScript-ссылки?
Работают ли внешние JavaScript-ссылки? Они такие же эффективные как и обычные через html или лучше от них все-таки отказаться? Ответ Поисковые системы распознают и учитывают...
• С чем может быть связано падение DR после закупки ссылок?
После закупки ссылок с анкорами и без упал DR... на 3 единицы. Ресурсы хорошие были выбраны. До этого последний раз ссылки закупались год назад. До...
• Надо ли и как правильно указывать ссылки на источники контента в блоге сайта?
Поясните момент про указывание источников в блоге сайта. При написании статей указываю источники, на которых опиралась при написании контента (только авторитетные: руководства, гос. сайты, официальные...
• Как повлияет на продвижение удаление недавно размещенных ссылок на сайт?
Вот, допустим, на мой сайт в течение месяца было размещено 10 ссылок на сторонних сайтах. Но спустя два месяца ссылок стало 5, остальные 5 ссылок...