Закрыть на сайте страницы от краулеров можно двумя способами:
- В robots.txt.
- В файле .htaccess.
Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:
- вместо строки User-agent: * – укажем User-agent: AhrefsBot;
- вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.
Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».
Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:
SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop
Этот файл не виден никому, кроме Вас.
При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как эффективнее покупать ссылки: на отдельные подкатегории или на их общую страницу категории? Нужно продвинуть сразу 6 подкатегорий общего каталога (всего подкатегорий больше), рационально ли будет покупать ссылки на общий каталог и ждать поднятия в ТОП подкатегорий? Или...
- Как ускорить индексацию нового интернет-магазина? Создали интернет-магазин и открываем к индексации его. Вопрос: чтобы ускорить индексацию нового ресурса нужно добавлять Last-Modified или он работает только с уже проиндексированными страницами? Как...
- Актуальны ли страницы тегов под низкочастотные запросы и как они влияют на продвижение сайта? Некоторое время назад у информационников и СМИ часто встречались страницы тегов и поиск страниц по хештегам. Сейчас всё реже встречаю такую реализацию. Сейчас делаем дизайн...
- Как использовать отчет эффективность из Google Search Console В GSC в разделе "эффективность" отображаются запросы, которые Гугл зафиксировал в поиске. Можно увидеть эффективность кликов, показов, ctr, среднюю позицию. Как работать с этим инструментом?...
- Как защитить брендовый трафик казино в Яндекс Брендовый трафик казино и любой другой компании - это горячие клиенты, которые прямо сейчас набирают брендовый запрос чтобы воспользоваться услугами данной компании. Из-за регулярных блокировок...
d.siteclinic@gmail.com
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Мы увидели рост по целому пулу запросов"
Деревянко П.Н.
Expertology.ru"Санкции были сняты. Весь процесс занял полтора месяца"
Сергей Протасов
Svem.ru"С первого контакта до положительного ответа Яндекса прошло 2 недели"
Александр Кисленко
Ovkuse.ru