Как бороться с дублями страниц в индексе

Печать E-mail
Метки: дубли контент оптимизация сайта борьба с дублями
( 2 Votes )
SEO Joomla поисковая оптимизация сайта
Автор: Rudman   
23.08.2012 06:58

В
ладелец сайта может не замечать, что у некоторых страниц на сайте есть копии. Допустим, открывается страница сайта со всем содержимым, но, если посмотреть на URL, можно заметить странную вещь – одинаковый контент, а адреса страниц разные. Казалось бы, что тут страшного?  Да, пользователь сайта не обратит на это никакого внимания, так как пользователю важна информация на странице. Но поисковые системы воспринимают такие страницы по-другому –  страницы разные, контент одинаковый.

борьба с дублями страниц в поиске

Чем опасны дубли страниц?

То, что не так уж важно для рядового пользователя, важно для поисковых систем. Поисковые роботы видят, что страницы разные, а значит, контент не является уникальным. А это уже влияет на ранжирование, причем не лучшим образом.

Наличие дублей будет размывать ссылочный вес, а ведь цель оптимизатора – сосредоточить его на целевой странице. Дубли могут изменить ситуацию, и он оказывается совсем не на той странице. А значит, может снизиться ожидаемый результат от внутренней перелинковки и внешних ссылок.

О
бычно дубли возникают из-за неправильной настройки CMS, когда из-за ошибок оптимизатора генерируются четкие копии. Это свойственно многим CMS, например, этим грешит Joomla. В этом случае можно попробовать использовать плагин для удаления копий или настроить robots.txt.

Когда появляются нечеткие дубли, в которых содержимое не является полностью идентичным, это происходит по невнимательности веб-мастера. Такое встречается на сайтах интернет-магазинов, ведь описания товаров часто совпадают или отличаются очень незначительно.

Специалисты говорят, что сайту не повредит небольшое количество дублей.  Однако, если дублей становится больше 40-50%, продвигать сайт будет очень трудно. Поэтому, даже если копии на сайте и немного, все равно необходимо по возможности устранить их, чтобы избавиться от проблем.

Ищем страницы-копии

И
звестны разные способы поиска дублированных страниц. Первое, что надо сделать – посмотреть, как видят сайт поисковики. Просто сравните количество страниц в индексе каждого поисковика. Просто введите в строку поиска в «Яндексе» или Google обозначение host:yoursite.ru и посмотрите на результат.

И, если после такой элементарной проверки количество будет отличаться сильно, например, в 10 и более раз, то велика вероятность содержания дублей. Значит, надо тщательно искать. Если сайт небольшой, страницы можно посчитать вручную и сравнить в результатами поисковых систем.

Можно искать дубли по URL. Страница с непонятными URL типа «index.php?s=0f6b2903d» будет сразу заметна в общем списке.
Еще один способ – искать по фрагментам текста. Введите в поисковик фрагмент текста, состоящий из  10-15 слов, взятых с каждой страницы. Две и более страниц в выдаче – значит, есть дубли. Одна страница – дублей нет.

Когда сайт состоит из очень большого числа страниц, такая проверка становится слишком трудоемкой. Тогда оптимизатор может использовать специальные программы. Например, опытные оптимизаторы хорошо знают программу Xenu`s Link Sleuth.

Откройте в этой программе новый проект, выбрав в меню «File» «Check URL», введите адрес и нажмите «OK». Программа будет проверять все URL сайта. После окончания работы программы результат можно загрузить в любой удобный редактор и посмотреть, если ли дубли.
Кроме всего вышеперечисленного, в инструментарии панелей «Яндекс.Вебмастер» и Google Webmaster Tools имеются специальные средства для проверки индексации страниц, ими можно воспользоваться для поиска дублей.

Дубли найдены. Что дальше?

Д
альше нам требуется устранить дубли. Способов несколько, но каждый случай индивидуален, и необходимо выбрать правильный метод (или даже использовать их все).

 

  • Страницы-копии можно удалить вручную, но это больше подойдет для дублей, созданных по невнимательности самим веб-мастером.
  • Редирект 301 хорошо подойдет для склеивания страниц-копий, в том случае, если URL отличается только наличием и отсутствием www.
  • для нечетких копий можно использовать тег canonical. Очень часто нечеткие копии встречаются в интернет-магазине, где описания товаров почти совпадают. canonical можно использовать и для версий «страниц для печати», а также в других аналогичных случаях. Применять его довольно просто – для всех копий надо указать атрибут rel=”canonical”, но для основной страницы (она  наиболее релевантна) не указывать. Сам код должен выглядеть приблизительно так: link rel="canonical" href="http://yoursite.ru/stranica-kopiya"/, он должен стоять в пределах тега head.
  • при борьбе с дублями также помогает настройка файла robots.txt. Используя Директиву Disallow можно закрывать поисковым роботам доступ к дублям.

Продвигать свой сайт советую всем с помощь автоматической системы seopult, инструкцию можно найти тут.