Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Как правильно создать карту сайта для мультиязычного сайта?
Как создавать для мультиязычного сайта карту сайта (Sitemap.xml)? Нужно ли добавлять какие-то нестандартные теги или атрибуты или для каждой языковой версии нужна своя карта сайта?...
• Что делать с карточками товаров при переезде?
Планируется переезд крупного ИМ. Начали с настройки 301 редиректа для основных страниц, а что делать с карточками товаров? Тоже настраивать редиректы или их можно просто...
• Индексируются ли ссылки с атрибутом «rel noopener»?
Размещая сторонние ссылки на сайте на wp заметила, что к ним автоматически добавляется атрибут "rel noopener". В справке Google написано, что поисковик не ходит по...
• Сервисы и методы для отслеживания ссылочного профиля конкурента
Активно ищу площадки для ссылок, как можно подсмотреть где размещаются конкуренты? Есть какие-то бесплатные методы и сервисы для отслеживания ссылочного не своего сайта? Ответ Для...
• ТЗ на статью для копирайтера: какие пункты обязательны и можно ли использовать онлайн генераторы при составлении
Можно ли использовать генераторы для составления ТЗ для копирайтеров? Какие основные пункты обязательно должны быть в ТЗ? Чем отличаются ТЗ для текстов на сторонние площадки...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)