Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Есть ли у Яндекса фильтры, которые не понижают позиции, но срезают трафик?
Есть ли у Яндекса фильтры, которые не понижают позиции, но срезают трафик? Ситуация: в Яндексе срезало трафик, но позиции при этом остались на прежнем уровне....
• Ранжируется ли переведенный контент в Яндексе?
Есть мнение, что поисковые системы рассматривают даже качественный машинный перевод публикаций с другого сайта как дубли. Но есть и другое мнение от авторитетного агентства —...
• Почему статья спустя время может перестать индексироваться в Google?
Почему статья спустя время может перестать индексироваться? Часть статей вылетела из Google, при этом статьи перестали считаться уникальными, сервисы проверки уникальности показывают статьи, которые вышли...
• Как обойти каннибализацию ключевых слов на сайте?
Сайт специализируется на продаже профнастила. У нас есть каталог и есть статейный раздел. Про профнастил написано много статей. Проблема в следующем. Есть раздел с товарами...
• Что делать после того, как обнаружили, что ваш контент своровали?
Суть: На одном из сайтов воруют контент. Воровство контента мониторю на регулярной основе. Вопрос: Что предпринимаете после того как обнаружили, что разные сайты у вас...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)