Технические ошибки, которые допускают оптимизаторы

Многие оптимизаторы допускают ряд технических ошибок, которые могут повлиять на ранжирование сайта в поисковых системах. Зачастую это незначительные ошибки, которые можно исправить «безболезненно». Но иногда такие технические недочеты могут очень сильно навредить сайту, что кардинальным образом затруднит его продвижение. 

В данной статье мы хотели бы рассмотреть некоторые примеры встречающихся ошибок.

1. Ошибки Robots.txt

Несмотря на то, что в интернете можно найти большое количество информации о правилах и командах, используемых в данном файле, оптимизаторы до сих пор продолжают допускать совсем не обязательные ошибки. 

1) Пробелы

Достаточно часто можно встретить ошибки, связанные с пробелами, проставленными в разных местах. При этом важно помнить: если робот видит пустую строку, он считает ее разделительной. Поэтому его дальнейшие действия не предсказуемы.

Неправильно:

User-agent: Yandex

Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

или

User-agent: Yandex
Disallow: /system
Disallow: /admin

Disallow: /login
Disallow: /logout

Правильно:

User-agent: Yandex
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

Пробел допустим в данном случае только после окончания всех команд для одного User-agent. После этого ставится пробел и можно использовать новый User-agent.

Пример:

User-agent: Yandex
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

User-agent: Google
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

2) Директива Host

Данная директива относится к поисковой системе Яндекс и необходима для определения главного зеркала сайта.  Ее лучше размещать в конце или максимально близко к концу.

Неправильно:

User-agent: Yandex
Host: www.site.ru 
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

Правильно:

User-agent: Yandex
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout
Host: www.site.ru

3) Использование  Allow

Использование Allow не является обязательным пунктом при составлении файла robots.txt. Данная команда уместна только в связке с использованием команды Disallow.

Неправильно:

User-agent: *
Allow: /content/photo

Правильно:

User-agent: *
Disallow: /content
Allow: /content/photo

2. Дубли страниц

Дубли страниц также являются одной из причин, по которой сайт может плохо ранжироваться и индексироваться. Причем дубли страниц могут быть не вполне очевидными и не всегда заметными. 

Сами дубли можно разделить на технические и смысловые.

Смысловые дубли возникают либо из-за намеренной попытки «обмана» поисковой системы (написание похожего по смыслу текста), либо из-за неправильного построения структуры сайта.

Технические дубли - это, в основном, дубли, созданные автоматически, дубли из-за неправильного использования CMS сайта.  

Найти технически дубли достаточно легко, используя поисковик. Если вам нужно определить, нет ли дубля у главной страницы сайта типа www.site.ru/index.php, это можно легко проверить.

Введите в любом поисковике, например, site:www.site.ru/ и site:www.site.ru/index.php. Если обе страницы в индексе, значит, у вас есть дубли.

Если вы хотите воспользоваться поиском только определенной части URL (например, URL, частью имени которого является слово index), вам необходимо будет набрать следующее:

site:www.site.ru inurl:index

Поисковик покажет вам все возможные варианты страниц в индексе с использования данного совпадения в URL.

3. Использование атрибута rel="canonical"

Данный атрибут используется в тех случаях, если есть несколько страниц с похожим контентом и необходимо определить, какая из страниц является главной или, как говорят, «каноничной». rel="canonical" размещается на странице, которую вы считаете главной. Например, у вас есть страницы блога, которые важны для вашего сайта, но они содержат дублированную информацию, например, анонсы статей. В таком случае данный атрибут можно установить на первой странице блога. Но этот атрибут необходимо применять в исключительных случаях (как и команду Allow в robots.txt), когда нет другой возможности уникализировать страницу. 

Данный атрибут также может быть неправильно использован.

Неправильно:

www.site.ru/blog (<link rel="canonical" href=" www.site.ru/blog/1">)
www.site.ru/blog/1
www.site.ru/blog/2

или

www.site.ru/blog 
www.site.ru/blog/1(<link rel="canonical" href=" www.site.ru/blog/1">)
www.site.ru/blog/2

Правильно:

www.site.ru/blog (<link rel="canonical" href=" www.site.ru/blog">)
www.site.ru/blog/1
www.site.ru/blog/2

или

www.site.ru/blog 
www.site.ru/blog/1(<link rel="canonical" href=" www.site.ru/blog">)
www.site.ru/blog/2

То есть, как вы видите, ссылка в атрибуте должна не только точно указывать страницу, но и должна размещаться именно на этой странице. Данное замечание может казаться очевидным, но, тем не менее, и такие ошибки встречаются.

Обращаем внимание, что многие CMS при неправильной настройке могут автоматически устанавливать данный атрибут на страницы и при этом не всегда правильно.

4. Редирект 301

Использование 301 редиректа для страниц позволяет перенаправить пользователя со старой ссылки на новую, где, собственно, и находится страница. Однако и тут могут наблюдаться некоторые проблемы.

Во-первых, данный редирект не всегда стоит использовать.

Не нужно использовать, если:

1) Проводятся временные изменения
Например, если вы решили сделать какие-то временные изменения на сайте, делать редирект 301 на страницу совсем не обязательно. Вместо этого можно воспользоваться командой 302 moved temporary («временное перемещение»).

2) Сайт под баном или фильтром
В такой ситуации многие люди делают достаточно незамысловатый ход. Они регистрируют новый домен и делают редирект со старого домена на новый. Так вот этого делать категорически не стоит, так как в данном случае все проблемы вашего старого сайта перейдут на новый.

3) Уже был применен один из способов для 301 редиректа
301 редирект можно делать несколькими разными способами через htaccess, php, javascript, настройки сервера и т.д. Вы должны убедиться, что редирект будет проводиться каким-то одним из перечисленных способов.

Когда стоит использовать внутренние редиректы:

1) Редирект c "без www" на "www" и наоборот – с "www" на "без www"
Это один из самых распространенных видов использования редиректов, который позволяет «склеить» страницы с www. 

2) Редирект с одной страницы на другую
Тут также все понятно – вы перенаправляете с одной страницы на другую: с внутренней на внутреннюю, на главную или наоборот.

3) Редирект для расширения файлов (например, все файлы .html на .php)
Эта процедура также проводится при обновлении всего сайта и обычно в данном случае настраивают 301 редирект одновременно для всех страниц.
Лучше лишний раз не полениться и переделать ссылку, если она внутренняя. Поверьте, сделав редирект один раз, вы потом будете пользоваться данным способом по умолчанию и, рано или поздно, создадите запутанную структуру, цепочку редиректов.

Данные ошибки представлены в виде заметок и, конечно, не охватывают весь диапазон и спектр ошибок. Но если вам интересно, вы можете написать в комментариях, о каких технических ошибках вы бы еще хотели узнать и мы рассмотрим их в следующий раз.

Оцените статью: 
1 Star2 Stars3 Stars4 Stars5 Stars (Голосов: 5. Рейтинг: 4,60 из 5)
Loading...Loading...

Автор: Никита Простяков, SEO-аналитик

n.prostyakov@siteclinic.ru

Технические ошибки, которые допускают оптимизаторы: 10 комментариев

  1. как лучше писать в файле  robots.txt — сначала инструкция  User-agent: Yandex, потом —  User-agent: * или наоборот?  

  2. и еще вопрос — вы можете назвать конкретные примеры ,когда реально нужно использование 302 редиректа? есть ли такие случаи вообще?  

    • Использование 302 редиректа достаточно редко, прежде всего из-за того, что 302 редирект не передает вес страницы. Но иногда он может использоваться для удобства. Например: страница «Акции» или «Скидки» ведет на страницу с товарами, на которые скидки и акции. Сегодня это могут быть компьютеры, через неделю — телефоны. Чтобы не менять постоянно содержание, можно просто делать 302 редирект. Или на сайте ресторана страница «Меню на сегодня» — в понедельник ведет на меню понедельника, во вторник — на меню вторника и так далее.  Также на сайте кинотеатра — «Афиша сегодня» — страница ведет на фильмы, которые показывают сегодня. Но опять-таки повторимся, что использование данного редиректа сегодня достаточно редкое.  

  3. Описанные ошибки 301 редиректа — далеко не все из самых распространенных:  .htcasses каждый правит, как говорится, на сколько хватит фантазии =) Одна из особенно часто встречающихся (зачастую, когда сайт на Джумле) — отсутсвие редиректа со страницы index.php или — наоборот — присутствие, дополнительного условия, позволяющего редиректить еще и на эту страницу…

    • Да, я с вами согласен. Мы объективно не могли охватить все ошибки в рамках статьи, и поэтому выбрали некоторые подходящие на наш взгляд. Тем не менее, в дальнейшем мы постараемся сделать акцент на какой-то определенной теме, которая будет интересна многим. 

    • В данной статье мы привели пример только как использовать данный атрибут для основной страницы типа http://www.site.ru/blog. Полностью не расписывали как использовать rel="canonical".
      Если вам интересно, то в следующий раз можем написать более подробно.

  4. Так будет правильно? User-agent: Yandex Disallow: /system #Комментарий Disallow: /admin #Комментарий Disallow: /login Disallow: /logout Или правильнее так User-agent: Yandex Disallow: /system #Комментарий User-agent: Yandex Disallow: /admin #Комментарий User-agent: Yandex Disallow: /login Disallow: /logout Или будет работать оба варианта?

  5. Первый вариант правильный, так как значение директивы User-agent не должно повторяться. Во втором случае будет трудно предсказать, как поведет себя робот — он может принять только одну директиву User-agent: Yandex.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *