Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Актуально ли сейчас использовать хрумер для ссылок
Актуально ли сейчас использовать хрумер и подобные инструменты? Можно ли их использовать для прокачки, например, 2 или 3 уровня ссылок? Насколько эффективен такой подход? Ответ...
• Насколько подробным должно быть меню сайта и сколько линков там должно быть?
В меню сайта 109 ссылок. Само меню используется как дополнительные ключи. Может ли это негативно влиять и как избавиться от последствий? Сколько ссылок в меню...
• Какой код ответа сервера указать, если сайт находится на полной реконструкции?
Какой код ответа сервера лучше всего указать, когда сайт находится на полной реконструкции, то есть сейчас он не работает вообще. Хочу максимально сохранить трафик, время:...
• Почему позиции сайта меняются при проверке вручную и через сервисы?
Допустим есть запрос "аренда минивэна киев" — я ввожу в строку поиска и вижу свой сайт в ТОП-10, а если использую сервис проверки позиций —...
• Как лучше организовать карточку одного товара, но с разными характеристиками?
Как правильнее поступать с разными весами/вкусами одного товара для ИМ: делать карточку товара с указанием в ней опций выбора, или под каждый веc/вкус отдельную карточку...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)