Почему Google краулит ссылки с index.php, если на них нет прямых ссылок в html и как сделать, чтобы он их не находил?

Ответ

Почему Google может находить такие ссылки:

• PHP-ссылки скрыто выводятся или генерируются в HTML/JS внутри блоков, которые не видно при обычном просмотре страницы (например, в системных переменных JS, массивах для динамических меню или формах).
• Если эти ссылки когда-то (даже годы назад) были доступны напрямую в HTML, Google запомнил их. Иногда боты могут годами переходить по старым адресам из своей базы, даже если на сайте не осталось ни одного упоминания.
• Часто CMS автоматически генерирует карту сайта (Sitemap.xml), включая туда системные URL с index.php.
• Эти URL могли получить сторонние сайты, или ими поделились в соцсетях/мессенджерах, а Google увидел эти ссылки.

Наличие ссылок с index.php в индексе негативно влияет на продвижение сайта, скорее всего, эти страницы являются полными дублями других продвигаемых страниц, а к дублям у ПС отношение явно негативное.

Лучше от таких ссылок избавляться:

— проверьте реальный рендеринг страниц и скриптов при помощи скриншотов в GSC;
— проверьте карту сайта на наличие таких ссылок;
— укажите 301 редирект со страниц index.php на релевантные, и пользователи и роботы будут всегда попадать на нужную страницу;
— замените страницы index.php во всех местах, где они указаны, нет ссылок на эти страницы – нет проблем;
— запретите индексацию этих страниц в файле robots, даже если робот попадет на эту страницу, её будет запрещено индексировать.

Еще по теме:

• Какие ссылки наиболее ценны для SEO и как отличить их от вредных?
Какие типы ссылок (какие ссылающиеся сайты) считаются сегодня самыми ценными? Как отличить естественные ссылки от «вредных» с точки зрения ИИ и Google? Ответ Сейчас ценность...
• Для чего сайты скрывают исходящие ссылки и безопасно ли покупать ссылки у таких сайтов?
Для чего сайты скрывают исходящие ссылки от Ahrefs, например, и насколько безопасно у таких сайтов покупать ссылки? Ответ Сайты иногда скрывают исходящие ссылки от инструментов...
• Влияет ли купленная ссылка на одну языковую версию на другие языковые версии сайта?
Есть многоязычный сайт, постоянно наполняем на 19 языках. Встал вопрос о покупке ссылок. Влияет ли купленная ссылка на одну языковую версию на версии сайта на...
• Повлияет ли ссылка на сайт с проблемами SSL на рейтинг сайта-донора?
Нужно сослаться на сайт, у которого проблемы с ssl и все браузеры на это ругаются. Может ли это негативно повлиять на сайт донор? (ссылка закрыта...
• Как Google учитывает большое количество ссылок с одного донора?
С одного донора проставлено около 30 000 ссылок на сайт (на главную, на разделы, на карточки товаров). Вопрос, как это учитывают поисковые системы? Плохо/хорошо? Это...