Почему Google краулит ссылки с index.php, если на них нет прямых ссылок в html и как сделать, чтобы он их не находил?

Ответ

Почему Google может находить такие ссылки:

• PHP-ссылки скрыто выводятся или генерируются в HTML/JS внутри блоков, которые не видно при обычном просмотре страницы (например, в системных переменных JS, массивах для динамических меню или формах).
• Если эти ссылки когда-то (даже годы назад) были доступны напрямую в HTML, Google запомнил их. Иногда боты могут годами переходить по старым адресам из своей базы, даже если на сайте не осталось ни одного упоминания.
• Часто CMS автоматически генерирует карту сайта (Sitemap.xml), включая туда системные URL с index.php.
• Эти URL могли получить сторонние сайты, или ими поделились в соцсетях/мессенджерах, а Google увидел эти ссылки.

Наличие ссылок с index.php в индексе негативно влияет на продвижение сайта, скорее всего, эти страницы являются полными дублями других продвигаемых страниц, а к дублям у ПС отношение явно негативное.

Лучше от таких ссылок избавляться:

— проверьте реальный рендеринг страниц и скриптов при помощи скриншотов в GSC;
— проверьте карту сайта на наличие таких ссылок;
— укажите 301 редирект со страниц index.php на релевантные, и пользователи и роботы будут всегда попадать на нужную страницу;
— замените страницы index.php во всех местах, где они указаны, нет ссылок на эти страницы – нет проблем;
— запретите индексацию этих страниц в файле robots, даже если робот попадет на эту страницу, её будет запрещено индексировать.

Еще по теме:

• Как правильно построить перелинковку с сайтом-донором и какое количество ссылок проставить?
Есть хороший донор, тематика и структура сайта совпадает с моим сайтом на 80%. С донорских страниц категорий или подкатегорий стоит ссылаться на страницы подкатегорий моего...
• Можно ли размещать на сайте ссылки на социальные сети и как это влияет на позиции сайта?
Можно ли размещать на сайте ссылки на социальные сети, если да, то какое количество? Не навредит ли это сайту или позициям? Ответ Да, можно размещать...
• Если текст для гест-постов не менять, то это как-то повлияет на передачу ссылочного?
Если текст для гест постов не менять, то это как-то повлияет на передачу ссылочного? К примеру, 5-7 гест постов с одинаковыми статьями на разных ресурсах....
• Как сильно на продвижение страниц влияют ссылки с доменов .gov и .edu?
У конкурентов в ТОПе часть ссылок с доменов .gov и .edu и прочих. Насколько сильно они влияют на продвижение страниц и насколько они эффективнее обычных...
• Как понять, что на сайте есть фильтры за ссылки?
Как понять, что на сайте фильтры за ссылки? В консоли все ок, замечаний нет. В качестве ссылок уверена, но вот в количестве и темпе прироста...