Как определить намеренно скрытые от консоли ссылки на сайт и как их можно скрыть?

Ответ

Из доступных методов сбора ссылочной массы можно выделить сайтов:

• выгрузки из различных сервисов;
• ручной поиск ссылок через поисковую строку (просто пишем адрес страницы или сайта в строку поиска: находит только безанкорные ссылки, которые размещены непосредственно на странице);
• выгрузка обратных ссылок через консоль поисковой системы (если у вас есть доступ к сайту) и отдельно вебмастер Bing, который позволяет смотреть ссылки других сайтов.

Самым популярным и простым с точки зрения затраченного времени, конечно же является выгрузка из систем аналитики. Проще всего зайти в аккаунт специального сервиса, например, Ahrefs или Majestic, и выкачать ссылочную массу сайта просто сделав пару кликов.

Но такие системы показывают не все ссылки, которые размещаются на сайт, работают они по принципу краулеров поисковых систем, которые анализируют миллионы сайтов и создают свои базы данных. Но, также как и робота поисковой системы, робота анализатора из ахрефс или маджестик можно заблокировать, просто запретив ему доступ к сайту. В данном случае ссылка на сайт есть и она будет учитываться поисковой системой, но система аналитики её не увидит, потому что её робот не занес эту ссылку в свою базу.

Если сайт конкурента размещает ссылки на подобных сайтах, которые закрыты от различных систем аналитики – вы никогда не найдете такую ссылку, разве что случайно на неё наткнетесь (или найдете через строку поиска, если ссылка размещена безанкорно).

Также от вас скрыты ссылки сайтов конкурентов, которые они получили в результате склеивания с другими доменами. В данном случае, ссылок может быть очень много, но вы их не увидите, потому что они размещены на другой домен, который склеен 301 редиректом с целевым сайтом.

Еще одним отличным инструментом для анализа ссылочной массы сайтом можно считать поисковую систему Bing, консоль которой позволяет просматривать ссылки любых сайтов. С учетом того, что это достаточно мощная поисковая система с огромными мощностями – базы данных у неё действительно огромные. Но, если в файле robots сайта донора есть директива, которая запрещает просмотр страниц роботам Bing – то эти ссылки также будут скрыты и не будут отображаться в базе.

Подытоживая, вы можете аналогичным образом запретить системам аналитики и роботу Bing просматривать свой сайт. В данном случае, все ссылки, которые у вас размещены будут скрыты от них. Но если вы хотите скрыть уже ссылки на ваш сайт – нужно просить владельцев сайтов, на которых вы размещаетесь, чтобы они также закрывали свои сайты от роботов этих систем. Это достаточно трудоемкий процесс.

Еще по теме:

• Какие есть способы закрытия ссылки от поисковиков?
Какие сейчас есть способы закрытия ссылки от поисковиков? Есть ли смысл закрывать через AJAX И JS? Ответ AJAX И JS на сегодня действительно реальный и...
• Как на ранжирование сайта влияет ссылка с трастового сервиса/сми, если донор помечает материал, как рекламный?
Насколько полезна ссылка с трастового сервиса/сми, которая индексируется поисковиками, но в самом партнерском материале самим донором материал помечается, как рекламный? Ответ На данный момент атрибут...
• Могут ли покупные ссылки выпадать из индекса со временем и надо ли это мониторить?
Могут ли покупные ссылки выпадать из индекса со временем? Нужно ли мониторить время от времени индекс покупных ссылок и как это сделать? Ответ Покупные ссылки...
• Как ускорить процесс индексирования беклинков в Google?
Чем прогнать беклинки, чтобы Google начал их учитывать или заметил их? Ответ Чтобы Google заметил беклинки на ваш сайт, он должен их проиндексировать. Чтобы ускорить...
• Почему не все внешние ссылки отображаются в Я.Вебмастере?
Если в Вебмастере внешняя ссылка не отображается, а при поиске в Яндексе URL страницы донора проиндексирован — значит ли это, что ссылка с этой страницы...