Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Как почистить индекс Google от страниц со старыми адресами, после смены URL?
Давно уже сделали ЧПУ для адресов страниц, настроили редиректы, но в индексе Google все равно очень много страниц со старыми адресами (редиректные). При этом есть...
• Как влияет смена тематики дропа на продвижение нового сайта?
Можно ли менять тематику сайта? К примеру до этого сайт был про медицину, а сейчас хотим его выкупить и переделать в интернет-магазин игрушек, и как...
• Что делать с товаром, которого нет в наличии, чтобы не плодить кучу 404 страниц?
Подскажите, пожалуйста, есть магазин товаров по скупке и продаже товаров. В нем по типу авито добавляются товары, и удаляются по мере того как продаются. Насколько...
• Что делать с 301 редиректами на сайте после переезда?
Довольно крупный интернет-магазин переезжал год назад с одной структуры каталога на другую: было domen.com/catalog/товар стало domen.com/category/товар На старых страницах проставлен 301 редирект на новые. Что...
• Как долго восстанавливаются позиции сайта после уменьшения длины URL?
После корректировки URL с целью уменьшения длины URL, сайт потерял позиции. Как долго будет процесс возвращения на имеющиеся позиции? Ответ Настройка 301 редиректа со старых...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)