Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Что делать со страницами без внутренних ссылок на них?
Обнаружили на сайте довольно много страниц, которые никак не слинкованы с остальным сайтом (старые карточки товаров). Ссылок на них вообще нет, с них есть ссылки...
• Почему в Яндексе возникает «ложная ошибка 404» и как это проверить?
При просмотре отчета в Яндекс.Вебмастер "Индексирование => Статистика обхода" инструмент показывает, что есть страница, которая отдаёт 404 код, по факту страница доступна и отдаёт 200...
• Как при паразитном SEO можно быстро загнать в индекс статью?
Пытаюсь заниматься паразитным SEO, пишу статьи на tenchat, как можно быстро загнать в индекс статью? Знаю, что есть link indexing bot, но не скажу что...
• Передается ли ссылочный вес через каноникал?
Передается ли ссылочный вес через каноникал? Если на сайте А есть страница, у которой каноникал ведёт на сайт В, то передаст ли ссылка с сайта...
• Как правильно оформлять 404 страницу на сайте?
Есть сайт-новостник, на котором довольно часто генерируется контент и страницы. Нужно ли оформлять 404 страницу на сайте? Как она должна выглядеть? На что нужно обратить...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)