Как быстро найти и устранить дубли страниц сайта?

Иногда у ресурса появляются страницы с одинаковым содержанием, то есть дублирующие друг друга.

Дубли страниц на сайте негативно влияют на его продвижение и работу. Поисковики хуже ранжируют идентичный контент. Чем таких страниц больше, тем больше сигналов поисковым ботам, что этот сайт низкого качества и не достоин быть в топе выдачи.

Появления дублей можно избежать перед тем, как ресурс будет индексироваться. На начальном этапе технической оптимизации можно провести способы профилактики. Если все же одинаковые страницы попали в индекс необходимо:

1. Рассортировать их по типам.
2. Провести работу по устранению.

Все виды и варианты решения этой проблемы мы подробно описали в статье.

Как дубликаты влияют на позиции сайта

Если вовремя не удалить повторяющийся контент, у ресурса может возникнуть ряд проблем:

1. Снижение релевантности. Дубли страниц влияют на падение трафика и потерю позиций.
2. Снижение процента оригинальности текстового содержания, что ведет к снижению уникальности всего сайта.
3. Снижение веса URL-адресов сайта. В выдаче поиска по каждому запросу попадает только одна страница, а если таких идентичных страниц несколько, все теряют в весе.
4. Увеличение времени на индексацию. При большом количестве, боту требуется больше времени для проверки сайта.
5. Бан от поисковых систем, если они сочтут наполнение плагиатом.

Причины возникновения

Перед тем, как убрать дубли страниц на сайте, нужно понять, из-за чего они возникли.

Основными причинами являются:

1. Неправильная настройка CMS для сайта.
2. Дублирование одного товара в разных категориях.
3. У сайта изменена структура, и страницам, которые уже существуют, приписываются другие адреса, но при этом старые адреса продолжают функционировать.
4. Ошибки, допущенные разработчиками и веб-мастерами.
5. Создание параметрических адресов с идентичной информацией относительно сайта без характеристик в URL.
6. Некорректно настроенный генератор гиперссылок.

Виды дублей страниц

Поиск дублей страниц сайта осуществляется в зависимости от их типа. После определения, можно проводить профилактические работы по выяснению причин появления и их устранению.

Полные дубли

Это дубли, при которых идентичная информация размещена на разных URL-адресах.

Виды:

1. Дубли страниц с разными протоколами http и https.
2. URL-адреса со слешами («/», «//», «///») и без.
3. Адреса с «www» и без «www».
4. Страницы с utm-меткам активности рекламы, анализа и отслеживания различных параметров трафика.
5. Дубли реферальных программ. Такие ссылки используются для того, чтобы привлечь новых пользователей и начислить вознаграждение участникам, которые их пригласили по этой ссылке. Они дублируют контент сайта, поэтому появляются ненужные страницы в индексе Google или Яндекс.
6. Дубли, связанные с ошибками в структуре сайта - случайное добавление новых идентичных страниц.

Убрать дубли главной страницы и прочих по сайту, можно через обработку файла htaccess.

Частичные дубли

Страницы с одинаковым содержанием, но имеющее отличия в элементах. Их тяжелее обнаружить, так как проверка сайта на дубли не всегда дает исчерпывающие данные. Их наличие отрицательно сказывается на ранжировании сайта.

Существуют следующие виды:

1. В каталогах или карточках товара.
2. На страницах скачивания и печати.
3. Страницы, где пользователи оставляют отзывы и комментарии.
4. Страницы пагинации.

Рассмотрим подробнее некоторые типы частичных дублей.

Характеристики в карточке товара

Возникают, поскольку описание товара чаще всего представлено и на главной странице, и на странице карточки. Для того, чтобы не допустить появление повторений, необходимо использовать другое описание на странице каталога. Как найти дубли страниц в таком случае? Самый эффективный способ - руками. Это времязатратно, но оно того стоит. При использовании программ, многое будет упущено.

Пагинация

Это порядковая нумерация текстовых страниц. Используется на сайтах с объемной товарной линейкой.

Есть несколько видов обзначения колонцифрами:

1. Списки номеров в виде ссылок.

2. Буквенный список.

3. Диапазоны позиций. Каждая группа цифр отправляет посетителя в место на которой расположена необходимая информация.

Если для посетителя пагинация приносит только удобство, у поисковиков, при ее неправильном оформлении могут возникнуть проблемы с индексированием. Основная сложность в том что приходится осуществлять поиск дублей страниц, так как часть контента может повторяться (одинаковое название разделов и описания). Например: site.com/clothes/shorts/ и site.com//clothes/shorts/page=2. Такие URL-адреса поисковые системы считают отдельными страницами. Чтобы избежать повторений, надо проверить техническую реализацию вывода товаров и автогенерацию. Также на каждой странице нумерации необходимо указать каноническую страницу, которая будет считаться главной.

Решение — закрыть часть материала от индексирования ботами (актуально для карточек товаров).

Подстановка контента

В целях экономии денег, многие владельцы сайтов используют автоматическую загрузку текстов. Их основная цель - создать видимость наполнения и обновления для поисковых систем. Специальная программа собирает и публикует контент, копируя его с конкурентных rss, заменяя некоторые слова синонимами.

Плюсы:

• быстрое заполнение ресурса;
• минимальные финансовые вложения;
• самостоятельная настройка плагина под требования.

Минусы:

• не всегда программа корректно загружает информацию, приходится вручную проверять и редактировать;
• поисковые боты могут посчитать содержание сайта плагиатом и пометить страницы, как повторяющиеся; поэтому перед публикацией нужно проверить дубли страниц;
• потеря позиций в выдаче, из-за неинтересной информации.

Версия для печати

Не на всех ресурсах есть отдельная версия для печати. Это не очень удобно, так как нужный материал может съехать, либо отобразиться на экране с лишними элементами.

Некоторые сайты создают отдельные страницы для распечаток. На ней удаляются ненужные элементы и настраивается адаптация под формат A4. В этом случае понадобится проверка дублей страниц и работы над уникальностью, поскольку поисковики могут пометить такой контент дублированным. Для решения проблем нужно создать стили для печати. Пользователю для отображения страницы в браузере показывается один CSS-файл, а на печать отправляется другой.

Смысловые

Даже если текст уникальный, поисковики могут и не проиндексировать его, постоянно меняя релевантную страницу. Это происходит из-за смысловых дублей. Они возникают из-за однотипного контента на сайте. Для продвижения страниц используются одинаковые ключевые запросы в схожей тематике. То есть технически (при проверке) - информация уникальная. По смыслу же она повторяется.

Текстовые дубли бывают:

1. Региональные. Например, сайт клинингового агентства в Санкт-Петербурге, Пушкине и Петергофе. Чтобы продвинуться по запросам – надо написать про услугу в каждом городе. Чаще всего пишется информационный текст об особенностях уборки и подставляется нужный город. Текст отличается только парой фраз, из-за чего возникают повторения.
2. Синонимические. Пример: как заказать уборку, как заказать клининг. Речь идёт про одно и тоже, просто это написано разными словами. Это ключи из одного кластера и уботреблять их следует на одной странице.
3. Общее и частотное. Статья создается под употребление ключей с базовой частотностью и точной частотностью (операторы в Яндекс.Вордстат “!...”), например, про «выбор стиральной машины» (общее) и «выбор стиральной машины Samsung» (частное). Такие страницы поиск может посчитать идентичными по смыслу, меняя их позиции в выдаче.

Чтобы понимать, как определить дубли страниц в этом случае, нужно отслеживать такие показатели, как:

1. Снижение позиций по некоторым запросам.
2. Постоянная смена релевантной страницы.
3. Выпадение страниц из индекса.

Варианты устранения дубликатов

Используются разные приемы. Они зависят от классификации, причин, возможностей и результатов проверки. Нет единственного универсального варианта, все подбирается индивидуально по ситуации. Ниже мы рассмотрим, как удалить дубли страниц на сайте самыми популярными методами:

• физически;
• с помощью настройки перенаправления;
• с помощью создания канонической страницы;
• с запретом индексации.

Физическое удаление

Самый простой вариант удаления дублей страниц - убрать их с ресурса. Тогда не придется настраивать перенаправления и писать коды. Но прежде чем это делать, необходимо проверить идет ли на эту страницу трафик и имеются ли на ней внешние и внутренние ссылки. Если данные ключевые параметры отсутствуют, то документ можно спокойно удалять с сайта.

Есть несколько вариантов:

1. Удалить повторяющуюся информацию. Не всегда будет уместным, поскольку иногда эти страницы нужны для внутренних работ или удобств пользователя (пагинация, страница для печати).
2. Заменить часть наполнения. Например, в карточках товара использовать синонимы, либо создать новый текст для главной страницы.
3. Настроить 301 редирект на релевантную страницу, скорректировав перелинковку.

Настройка 301 редиректа

Основной и самый надежный способ. Выполняется автоматическая переадресация с одной страницы сайта на другую. Например, если сайт использует сервер Apache, то нужные правила применяются в файле .htaccess с помощью регулярных выражений. Боты видят, что по данному урлу страница недоступна и переведена на другой адрес. При создании редиректа надо следить за корректностью кода, а после сделать проверку дублей страниц онлайн. Здесь необходимы навыки профессионального программиста.

Самый простой вариант с кодом:

Redirect 301 /test-1/ http://site.ru/test-2/

Со страницы с www на страницу без www:

RewriteCond %{HTTP_HOST} ^www\.(.*)$
RewriteRule^(.*)$ http://%1/$1 [L,R=301]

С протокола http на https:

RewriteCond %{HTTPS} !=on
RewriteRule^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]

Для index.php, index.html или index.htm:

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php|html|htm)\ HTTP/
RewriteRule^(.*)index\.(php|html|htm)$ http://site.ru/$1 [R=301,L]

Подробную инструкцию по настройке 301 редиректа можно прочитать здесь.

Создание канонической страницы

Тег canonical нужен, чтобы указать поисковому боту на оригинальную страницу для поисковой выдачи. Для этого на всех URL прописывается код с адресом оригинала:

<link rel="canonical" href="http://www.site.ru/original-page.html">

Можно делать вручную, но это долго. Можно использовать плагины: YoastSEO или AllinOneSEOPack для вордпресс.

Чаще всего применяется для версий печати. Как проверить дубль главной страницы, мы разберем в разделе сервисов.

Запрет индексации файла Robots.txt

Используется директива Disallow, которая запрещает поисковым ботам заходить на ненужные страницы. Инструмент не подойдет, если дублей слишком много. Кроме того, ненужная страница все равно может оказаться в выдаче, так как она могла быть проиндексирована ранее, либо поисковые боты проигнорировали запрещающую команду. После запрета можно приступать к поиску дублей страниц онлайн, чтобы исключить ошибку.

Проверка сайта на дубли страниц онлайн

Поиск можно произвести разными способами. Лучше всего их комбинировать. Мы рассмотрим как найти дубли онлайн с помощью следующих сервисов:

• Яндекс.Вебмастер.
• Netpeak Spider.
• Xenu.
• Screaming Frog.

Яндекс.Вебмастер

Это панель для разработчиков в одноименной поисковой системе. У нее есть множество полезных разделов для отслеживания статистики, поиска ошибок и устранения неполадок. Веб-мастера всегда могут задать вопросы и следовать рекомендациям сервиса для улучшения ранжирования. Дубли страниц в Яндекс.Вебмастер - одна из функций поисковика.

Чтобы выявить их, нужно:

1. Перейти в раздел “Страницы в поиске” - “Исключенные страницы”.
2. Нажать на значок “Фильтр” и выбрать статус “Удалено.Дубль”.

Другой вариант - выгрузка архива. В полученном файле повторяющаяся страница будет со статусом DUPLICATE.

Netpeak Spider

Приложение для быстрого поиска дублей страниц онлайн всех типов.

Что нужно:

1. Запустить программу.
2. Перейти в раздел “Настройки”.
3. Открыть вкладку “Продвинутые”.
4. Отметить каждый из пунктов в подразделе «Учитывать инструкции по индексации», а также пункт «Next / Prev».

5. Ввести домен сайта в адресную строку.
6. Нажать кнопку “Старт”.

Дубли отразятся во вкладке “Ошибки”. Там можно ознакомится с перечнем нужных адресов.

Xenu

Программа Xenu Link Sleuth поможет с удалением повторений и поиска битых ссылок. Существенный недостаток - ищет только полные дубли, частичные пропускает. Ещё одна функция - проведение технического аудита. Разработана для операционной системы Windows. Во время ввода страницы надо обращать внимание на наличие символов слеш в конце. В соответствующих разделах можно посмотреть, как убрать дубли страниц.

Screaming frog seo spider

До 500 ссылок можно проверить бесплатно, далее придется приобрести расширенную версию. Наличие дублей программа определяет так же, как и Xenu, но быстрее и эффективнее.

При продвижении SEO-специалисту надо проверить наполнение сайта на повторы. Если они есть - надо провести работы по их устранению. Проверить дубли страниц лучше всего онлайн, поскольку это займет меньше времени. Они негативно влияют на рейтинг в поисковой выдаче, поэтому лучше всего заранее настраивать перенаправления и закрывать для индексации некоторые страницы.