Технические ошибки, которые допускают оптимизаторы

64

27

27

10

Небольшие заметки, рассмотренные в статье, помогут вам улучшить свой сайт. Мы показываем примеры технических ошибок владельцев ресурсов/оптимизаторов и варианты их исправления, рассказываем, как лучше использовать 301 редирект или атрибут rel=canonical и т.д.

Многие оптимизаторы допускают ряд технических ошибок, которые могут повлиять на ранжирование сайта в поисковых системах. Зачастую это незначительные ошибки, которые можно исправить «безболезненно». Но иногда такие технические недочеты могут очень сильно навредить сайту, что кардинальным образом затруднит его продвижение.

В данной статье мы хотели бы рассмотреть некоторые примеры встречающихся ошибок.

1. Ошибки Robots.txt

Несмотря на то, что в интернете можно найти большое количество информации о правилах и командах, используемых в данном файле, оптимизаторы до сих пор продолжают допускать совсем не обязательные ошибки.

1) Пробелы

Достаточно часто можно встретить ошибки, связанные с пробелами, проставленными в разных местах. При этом важно помнить: если робот видит пустую строку, он считает ее разделительной. Поэтому его дальнейшие действия не предсказуемы.

Неправильно:

User-agent: Yandex

Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

или

User-agent: Yandex
Disallow: /system
Disallow: /admin

Disallow: /login
Disallow: /logout

Правильно:

User-agent: Yandex
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

Пробел допустим в данном случае только после окончания всех команд для одного User-agent. После этого ставится пробел и можно использовать новый User-agent.

Пример:

User-agent: Yandex
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

User-agent: Google
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

2) Директива Host

Данная директива относится к поисковой системе Яндекс и необходима для определения главного зеркала сайта.  Ее лучше размещать в конце или максимально близко к концу.

Неправильно:

User-agent: Yandex
Host: www.site.ru
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout

Правильно:

User-agent: Yandex
Disallow: /system
Disallow: /admin
Disallow: /login
Disallow: /logout
Host: www.site.ru

3) Использование  Allow

Использование Allow не является обязательным пунктом при составлении файла robots.txt. Данная команда уместна только в связке с использованием команды Disallow.

Неправильно:

User-agent: *
Allow: /content/photo

Правильно:

User-agent: *
Disallow: /content
Allow: /content/photo

2. Дубли страниц

Дубли страниц также являются одной из причин, по которой сайт может плохо ранжироваться и индексироваться. Причем дубли страниц могут быть не вполне очевидными и не всегда заметными.

Сами дубли можно разделить на технические и смысловые.

Смысловые дубли возникают либо из-за намеренной попытки «обмана» поисковой системы (написание похожего по смыслу текста), либо из-за неправильного построения структуры сайта.

Технические дубли — это, в основном, дубли, созданные автоматически, дубли из-за неправильного использования CMS сайта.

Найти технически дубли достаточно легко, используя поисковик. Если вам нужно определить, нет ли дубля у главной страницы сайта типа www.site.ru/index.php, это можно легко проверить.

Введите в любом поисковике, например, site:www.site.ru/ и site:www.site.ru/index.php. Если обе страницы в индексе, значит, у вас есть дубли.

Если вы хотите воспользоваться поиском только определенной части URL (например, URL, частью имени которого является слово index), вам необходимо будет набрать следующее:

site:www.site.ru inurl:index

Поисковик покажет вам все возможные варианты страниц в индексе с использования данного совпадения в URL.

3. Использование атрибута rel=»canonical»

Данный атрибут используется в тех случаях, если есть несколько страниц с похожим контентом и необходимо определить, какая из страниц является главной или, как говорят, «каноничной». rel=»canonical» размещается на странице, которую вы считаете главной. Например, у вас есть страницы блога, которые важны для вашего сайта, но они содержат дублированную информацию, например, анонсы статей. В таком случае данный атрибут можно установить на первой странице блога. Но этот атрибут необходимо применять в исключительных случаях (как и команду Allow в robots.txt), когда нет другой возможности уникализировать страницу.

Данный атрибут также может быть неправильно использован.

Неправильно:

www.site.ru/blog (<link rel=»canonical» href=» www.site.ru/blog/1″>)
www.site.ru/blog/1
www.site.ru/blog/2

или

www.site.ru/blog
www.site.ru/blog/1(<link rel=»canonical» href=» www.site.ru/blog/1″>)
www.site.ru/blog/2

Правильно:

www.site.ru/blog (<link rel=»canonical» href=» www.site.ru/blog»>)
www.site.ru/blog/1
www.site.ru/blog/2

или

www.site.ru/blog
www.site.ru/blog/1(<link rel=»canonical» href=» www.site.ru/blog»>)
www.site.ru/blog/2

То есть, как вы видите, ссылка в атрибуте должна не только точно указывать страницу, но и должна размещаться именно на этой странице. Данное замечание может казаться очевидным, но, тем не менее, и такие ошибки встречаются.

Обращаем внимание, что многие CMS при неправильной настройке могут автоматически устанавливать данный атрибут на страницы и при этом не всегда правильно.

4. Редирект 301

Использование 301 редиректа для страниц позволяет перенаправить пользователя со старой ссылки на новую, где, собственно, и находится страница. Однако и тут могут наблюдаться некоторые проблемы.

Во-первых, данный редирект не всегда стоит использовать.

Не нужно использовать, если:

1) Проводятся временные изменения
Например, если вы решили сделать какие-то временные изменения на сайте, делать редирект 301 на страницу совсем не обязательно. Вместо этого можно воспользоваться командой 302 moved temporary («временное перемещение»).

2) Сайт под баном или фильтром
В такой ситуации многие люди делают достаточно незамысловатый ход. Они регистрируют новый домен и делают редирект со старого домена на новый. Так вот этого делать категорически не стоит, так как в данном случае все проблемы вашего старого сайта перейдут на новый.

3) Уже был применен один из способов для 301 редиректа
301 редирект можно делать несколькими разными способами через htaccess, php, javascript, настройки сервера и т.д. Вы должны убедиться, что редирект будет проводиться каким-то одним из перечисленных способов.

Когда стоит использовать внутренние редиректы:

1) Редирект c «без www» на «www» и наоборот – с «www» на «без www»
Это один из самых распространенных видов использования редиректов, который позволяет «склеить» страницы с www.

2) Редирект с одной страницы на другую
Тут также все понятно – вы перенаправляете с одной страницы на другую: с внутренней на внутреннюю, на главную или наоборот.

3) Редирект для расширения файлов (например, все файлы .html на .php)
Эта процедура также проводится при обновлении всего сайта и обычно в данном случае настраивают 301 редирект одновременно для всех страниц.
Лучше лишний раз не полениться и переделать ссылку, если она внутренняя. Поверьте, сделав редирект один раз, вы потом будете пользоваться данным способом по умолчанию и, рано или поздно, создадите запутанную структуру, цепочку редиректов.

Данные ошибки представлены в виде заметок и, конечно, не охватывают весь диапазон и спектр ошибок. Но если вам интересно, вы можете написать в комментариях, о каких технических ошибках вы бы еще хотели узнать и мы рассмотрим их в следующий раз.

Еще по теме:

• 9 ошибок при разработке сайта, которые мешают продвижению
Чтобы в дальнейшем при продвижении не возникло проблем, в ТЗ на разработку сайта нужно учесть и прописать моменты, важные с точки зрения SEO. С какими ошибками...
• SEO чек-лист: что проверять перед запуском сайта?
1. Что проверить перед запуском сайта 1.1. Основные моменты 1.2. Технические аспекты 2. За чем следить после запуска сайта 2.1. Поведенческие факторы 2.2. Наличие фильтров...
• Четыре совета от представителей Google
На одной из недавних конференций наши специалисты пообщались с представителями Google. Хотим поделиться с вами их мнением по ряду вопросов. В статье мы расскажем о...
• Зеркала сайта и объединение доменов
Что такое зеркало сайта Зачем нужны зеркала Как определить зеркала сайта Как указать главное зеркало Как расклеить домены Мини-кейсы от Siteclinic 1. Как быстро восстановить...
• Какой оптимальный размер DOM должен быть на странице сайта?
Поясните, пожалуйста, какой оптимальный размер DOM на странице сайта должен быть? Ответ В рекомендациях Google указано, что элемент тела DOM должен быть менее ~800 узлов....

---

Никита П.

SEO-аналитик

Оцените мою статью: 

(7 оценок, среднее: 4,71 из 5)