Почему Google краулит ссылки с index.php, если на них нет прямых ссылок в html и как сделать, чтобы он их не находил?

Ответ

Почему Google может находить такие ссылки:

• PHP-ссылки скрыто выводятся или генерируются в HTML/JS внутри блоков, которые не видно при обычном просмотре страницы (например, в системных переменных JS, массивах для динамических меню или формах).
• Если эти ссылки когда-то (даже годы назад) были доступны напрямую в HTML, Google запомнил их. Иногда боты могут годами переходить по старым адресам из своей базы, даже если на сайте не осталось ни одного упоминания.
• Часто CMS автоматически генерирует карту сайта (Sitemap.xml), включая туда системные URL с index.php.
• Эти URL могли получить сторонние сайты, или ими поделились в соцсетях/мессенджерах, а Google увидел эти ссылки.

Наличие ссылок с index.php в индексе негативно влияет на продвижение сайта, скорее всего, эти страницы являются полными дублями других продвигаемых страниц, а к дублям у ПС отношение явно негативное.

Лучше от таких ссылок избавляться:

— проверьте реальный рендеринг страниц и скриптов при помощи скриншотов в GSC;
— проверьте карту сайта на наличие таких ссылок;
— укажите 301 редирект со страниц index.php на релевантные, и пользователи и роботы будут всегда попадать на нужную страницу;
— замените страницы index.php во всех местах, где они указаны, нет ссылок на эти страницы – нет проблем;
— запретите индексацию этих страниц в файле robots, даже если робот попадет на эту страницу, её будет запрещено индексировать.

Еще по теме:

• Попадут ли в индекс ссылки на статьи с низкой уникальностью?
Подскажите, при покупке ссылок с бирж ссылки проставляются в статьи с низкой уникальностью. Как сработают такие ссылки, проиндексируются ли они или для ссылок необходимо писать...
• Насколько полезны для сайта ссылки с YouTube?
Насколько полезны ссылки с ютуб? Как таковое видео с них не особо будут популярны, а, скорее всего, просто, чтобы было. Ответ YouTube имеет большой авторитет...
• От чего зависит попадание ссылки в отчет Linking domains и как часто обновляется этот отчет?
От чего зависит попадание ссылки в GSC в отчете Linking domains? И как часто обновляется этот отчет для маленьких сайтов и крупных миллионников? Ответ В...
• Учитываются и нужно ли отклонять ссылки с одинаковым текстом и анкорами?
Появилось очень много ссылок с одинаковым текстом и одинаковыми анкорами. Анкоры тематичные, но таких ссылок уже больше 50%. Учитываются ли они и нужно ли их...
• Можно ли размещать на сайте ссылки на социальные сети и как это влияет на позиции сайта?
Можно ли размещать на сайте ссылки на социальные сети, если да, то какое количество? Не навредит ли это сайту или позициям? Ответ Да, можно размещать...