Дубли страниц на сайте: причины возникновения, виды, способы онлайн поиска и варианты удаления - подробный обзор.
От 06.04.2021
Иногда у ресурса появляются страницы с одинаковым содержанием, то есть дублирующие друг друга.
Дубли страниц на сайте негативно влияют на его продвижение и работу. Поисковики хуже ранжируют идентичный контент. Чем таких страниц больше, тем больше сигналов поисковым ботам, что этот сайт низкого качества и не достоин быть в топе выдачи.
Появления дублей можно избежать перед тем, как ресурс будет индексироваться. На начальном этапе технической оптимизации можно провести способы профилактики. Если все же одинаковые страницы попали в индекс необходимо:
Все виды и варианты решения этой проблемы мы подробно описали в статье.
Если вовремя не удалить повторяющийся контент, у ресурса может возникнуть ряд проблем:
Перед тем, как убрать дубли страниц на сайте, нужно понять, из-за чего они возникли.
Основными причинами являются:
Поиск дублей страниц сайта осуществляется в зависимости от их типа. После определения, можно проводить профилактические работы по выяснению причин появления и их устранению.
Это дубли, при которых идентичная информация размещена на разных URL-адресах.
Виды:
Убрать дубли главной страницы и прочих по сайту, можно через обработку файла htaccess.
Страницы с одинаковым содержанием, но имеющее отличия в элементах. Их тяжелее обнаружить, так как проверка сайта на дубли не всегда дает исчерпывающие данные. Их наличие отрицательно сказывается на ранжировании сайта.
Существуют следующие виды:
Рассмотрим подробнее некоторые типы частичных дублей.
Возникают, поскольку описание товара чаще всего представлено и на главной странице, и на странице карточки. Для того, чтобы не допустить появление повторений, необходимо использовать другое описание на странице каталога. Как найти дубли страниц в таком случае? Самый эффективный способ - руками. Это времязатратно, но оно того стоит. При использовании программ, многое будет упущено.
Это порядковая нумерация текстовых страниц. Используется на сайтах с объемной товарной линейкой.
Есть несколько видов обзначения колонцифрами:
Если для посетителя пагинация приносит только удобство, у поисковиков, при ее неправильном оформлении могут возникнуть проблемы с индексированием. Основная сложность в том что приходится осуществлять поиск дублей страниц, так как часть контента может повторяться (одинаковое название разделов и описания). Например: site.com/clothes/shorts/ и site.com//clothes/shorts/page=2. Такие URL-адреса поисковые системы считают отдельными страницами. Чтобы избежать повторений, надо проверить техническую реализацию вывода товаров и автогенерацию. Также на каждой странице нумерации необходимо указать каноническую страницу, которая будет считаться главной.
Решение — закрыть часть материала от индексирования ботами (актуально для карточек товаров).
В целях экономии денег, многие владельцы сайтов используют автоматическую загрузку текстов. Их основная цель - создать видимость наполнения и обновления для поисковых систем. Специальная программа собирает и публикует контент, копируя его с конкурентных rss, заменяя некоторые слова синонимами.
Плюсы:
Минусы:
Не на всех ресурсах есть отдельная версия для печати. Это не очень удобно, так как нужный материал может съехать, либо отобразиться на экране с лишними элементами.
Некоторые сайты создают отдельные страницы для распечаток. На ней удаляются ненужные элементы и настраивается адаптация под формат A4. В этом случае понадобится проверка дублей страниц и работы над уникальностью, поскольку поисковики могут пометить такой контент дублированным. Для решения проблем нужно создать стили для печати. Пользователю для отображения страницы в браузере показывается один CSS-файл, а на печать отправляется другой.
Даже если текст уникальный, поисковики могут и не проиндексировать его, постоянно меняя релевантную страницу. Это происходит из-за смысловых дублей. Они возникают из-за однотипного контента на сайте. Для продвижения страниц используются одинаковые ключевые запросы в схожей тематике. То есть технически (при проверке) - информация уникальная. По смыслу же она повторяется.
Текстовые дубли бывают:
Чтобы понимать, как определить дубли страниц в этом случае, нужно отслеживать такие показатели, как:
Используются разные приемы. Они зависят от классификации, причин, возможностей и результатов проверки. Нет единственного универсального варианта, все подбирается индивидуально по ситуации. Ниже мы рассмотрим, как удалить дубли страниц на сайте самыми популярными методами:
Самый простой вариант удаления дублей страниц - убрать их с ресурса. Тогда не придется настраивать перенаправления и писать коды. Но прежде чем это делать, необходимо проверить идет ли на эту страницу трафик и имеются ли на ней внешние и внутренние ссылки. Если данные ключевые параметры отсутствуют, то документ можно спокойно удалять с сайта.
Есть несколько вариантов:
Основной и самый надежный способ. Выполняется автоматическая переадресация с одной страницы сайта на другую. Например, если сайт использует сервер Apache, то нужные правила применяются в файле .htaccess с помощью регулярных выражений. Боты видят, что по данному урлу страница недоступна и переведена на другой адрес. При создании редиректа надо следить за корректностью кода, а после сделать проверку дублей страниц онлайн. Здесь необходимы навыки профессионального программиста.
Самый простой вариант с кодом:
Redirect 301 /test-1/ http://site.ru/test-2/
Со страницы с www на страницу без www:
RewriteCond %{HTTP_HOST} ^www\.(.*)$
RewriteRule^(.*)$ http://%1/$1 [L,R=301]
С протокола http на https:
RewriteCond %{HTTPS} !=on
RewriteRule^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L]
Для index.php, index.html или index.htm:
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php|html|htm)\ HTTP/
RewriteRule^(.*)index\.(php|html|htm)$ http://site.ru/$1 [R=301,L]
Подробную инструкцию по настройке 301 редиректа можно прочитать здесь.
Тег canonical нужен, чтобы указать поисковому боту на оригинальную страницу для поисковой выдачи. Для этого на всех URL прописывается код с адресом оригинала:
<link rel="canonical" href="http://www.site.ru/original-page.html">
Можно делать вручную, но это долго. Можно использовать плагины: YoastSEO или AllinOneSEOPack для вордпресс.
Чаще всего применяется для версий печати. Как проверить дубль главной страницы, мы разберем в разделе сервисов.
Используется директива Disallow, которая запрещает поисковым ботам заходить на ненужные страницы. Инструмент не подойдет, если дублей слишком много. Кроме того, ненужная страница все равно может оказаться в выдаче, так как она могла быть проиндексирована ранее, либо поисковые боты проигнорировали запрещающую команду. После запрета можно приступать к поиску дублей страниц онлайн, чтобы исключить ошибку.
Поиск можно произвести разными способами. Лучше всего их комбинировать. Мы рассмотрим как найти дубли онлайн с помощью следующих сервисов:
Это панель для разработчиков в одноименной поисковой системе. У нее есть множество полезных разделов для отслеживания статистики, поиска ошибок и устранения неполадок. Веб-мастера всегда могут задать вопросы и следовать рекомендациям сервиса для улучшения ранжирования. Дубли страниц в Яндекс.Вебмастер - одна из функций поисковика.
Чтобы выявить их, нужно:
Другой вариант - выгрузка архива. В полученном файле повторяющаяся страница будет со статусом DUPLICATE.
Приложение для быстрого поиска дублей страниц онлайн всех типов.
Что нужно:
Дубли отразятся во вкладке “Ошибки”. Там можно ознакомится с перечнем нужных адресов.
Программа Xenu Link Sleuth поможет с удалением повторений и поиска битых ссылок. Существенный недостаток - ищет только полные дубли, частичные пропускает. Ещё одна функция - проведение технического аудита. Разработана для операционной системы Windows. Во время ввода страницы надо обращать внимание на наличие символов слеш в конце. В соответствующих разделах можно посмотреть, как убрать дубли страниц.
До 500 ссылок можно проверить бесплатно, далее придется приобрести расширенную версию. Наличие дублей программа определяет так же, как и Xenu, но быстрее и эффективнее.
При продвижении SEO-специалисту надо проверить наполнение сайта на повторы. Если они есть - надо провести работы по их устранению. Проверить дубли страниц лучше всего онлайн, поскольку это займет меньше времени. Они негативно влияют на рейтинг в поисковой выдаче, поэтому лучше всего заранее настраивать перенаправления и закрывать для индексации некоторые страницы.
Кейсы
Стоимость работ
Ниже вы можете ознакомиться с тарифами по поисковое продвижение молодых сайтов, а также на остальные услуги нашего агентства.