Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Как правильно расширить и распределить семантику?
После анализа семантики своего сайта и сайта конкурента выяснил, что семантика конкурента значительно шире моей. Причем страниц на сайтах у нас плюс-минус одинаковое количество. Как...
• Как помочь Google быстро индексировать новости?
Как помочь Google очень быстро индексировать страницы? Сайт — новостник, публикуем новости, но ПС индексирует их с опозданием на день или на два, когда новость...
• Как должны выглядеть метатеги для коммерческой страницы?
Везде пишут про обязательную настройку мета тегов, но нигде ни приводят примеры этих самых идеальных написаний. Как должен выглядеть мета дескрипшн для коммерческой страницы? Приведите...
• Можно ли продвигать одну страницу без смены URL под два региона?
Допустим есть бизнес, работающий в СПБ и МСК (есть офисы в обоих городах). В шапке сайта есть переключатель города, но в URL это никак не...
• Что делать, если конкурент копирует наши сниппеты?
Что можно сделать, если конкурент копирует наши title и description для категорий, подкатегорий и товаров? Сниппет в выдаче получается один в один, мы в ТОПе...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)