Ответ
Если страницы открываются и загружаются для пользователей и что самое важное, для поисковых систем – никаких проблем с ранжированием сайта не будет. Это самое важное.
В данное случае проблема может быть в из-за двух моментов:
- Проблемы в работе программы/компьютера. Попробуйте обновить программу до последней версии. Удалите и установите программу заново. Попробуйте установить программу на другом компьютере и попробовать сканировать нужный сайт с него.
- Настройки сервера/хостинга. Какое бы количество потоков вы не устанавливали, более продвинутые сервера могут точно определить, кто запрашивает страницу, человек или программа. Скорее всего, проблема именно в этом. Вы можете написать в СП хостинга и установить список разрешенных IP адресов, с которых будет доступен «безлимитный» доступ к сайту. После этого ошибка исчезнет, какое количество потоков вы бы не использовали.
Если это сайт конкурента – попробуйте скачать сайт через прокси. Иногда бывает, что прокси крупных городов добавлены в списки «слабо ограничиваемых». Сперва попробуйте бесплатные, потом можете купить парочку платных. Но если у вас ничего не получится – значит сайт конкурента хорошо позаботился о своей безопасности и не хочет, чтобы «лишние глаза» изучали сайт.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Индексирование сайтов на AJAX: как помочь ботам поисковых систем Видят ли поисковики контент сайтов на AJAX? Если нет, то что конкретно нужно сделать, чтобы видели? Тематика различного онлайн тестирования с билетами и вопросами. Ответ...
- Что вызывает резкую остановку индексации новых страниц без технических изменений на сайте? Сайт публикует новые статьи, они доступны для индексации, robots.txt и технические настройки в порядке, но Google перестал индексировать новые страницы. Запрос на индексирование в Search...
- Как удалить индексацию страницы в Google? Подскажите, как удалить индексацию страницы в Google, чтобы Google не выдавал ссылку на эту страницу при наборе запроса в поисковике? Ответ Чтобы удалить страницы с...
- Надо ли закрывать от индексации трастовые страницы (Payment, Delivery, Terms of Use, Cookie, Privacy Policy)? Как думаете, трастовые страницы (например, Payment & Delivery, terms, cookie и privacy policy, др.) нужно делать индексируемыми или лучше закрыть в meta name="robots" content="noindex, follow"?...
- Как вернуть в индекс фильтр-страницу, которую Google посчитал копией? Была создана фильтр страница категории со своими ЧПУ, тайтлами и т. д. Но Google считает ее полной копией категории, хотя раньше она была в индексе...
nikita.d@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Получили +15-20 к ВЧ-запросам в Яндексе"
Денис Нарижный
Komputernaya.ru"Отчеты и консультации всегда исчерпывающие и действенные"
"Не ожидал получить настолько качественный анализ и советы за минимальную цену"
Дмитрий Сокол
Hostings.info