· Если сайт имеет отдельные версии на «www.site.com» и «site.com» (с префиксом «www» и без него), и один и тот же контент живёт в обеих версиях. Так создаются дубликаты каждой из этих страниц. То же самое относится к сайтам, которые поддерживают версии как в http: //, так и в https: //. Если обе версии страницы являются живыми и видимыми для поисковых систем – это проблема с дублированием контента. И как говорилось раньше, вес таких страниц делится на количество страниц.
Устранение проблемы с повторяющихся контентом сводится к одной идее: указать, какой из дубликатов является «правильным».
Всякий раз, когда контент на сайте можно найти по нескольким URL-адресам, он должен быть канонизирован для поисковых систем.
(Канонический тег («rel canonical») – это способ сообщить поисковым системам, что конкретный URL-адрес представляет собой главную копию страницы.)
На данный момент используют один из трёх основных способов избавиться от индексирования дублей страниц.
· использование 301 перенаправления на правильный URL,
· rel = canonical атрибут
· или использование инструмента обработки параметров в Google Search Console.
301 перенаправление.
Во многих случаях лучшим способом борьбы с дублирующим контентом является настройка 301 перенаправления с «дублированной» страницы на исходную страницу контента.
Когда несколько страниц с потенциалом для ранжирования хорошо объединены в одну страницу, они не только перестают конкурировать друг с другом; они также создают более сильную релевантность и популярность сигнала для поисковика в целом. Это положительно повлияет на способность «правильной» страницы хорошо ранжироваться.
Атрибут rel = «canonical».
Другим вариантом для борьбы с копиями контента является использование атрибута rel = canonical. Это говорит поисковым системам, что данная страница должна рассматриваться как копия указанного URL-адреса, а все ссылки, метрики контента и «рейтинг мощности», которые поисковые системы применяют к этой странице, должны быть направлены на указанный адрес URL.
Атрибут rel = «canonical» является частью HTML-страницы, заносится в HEAD страницы, и выглядит следующим образом:
Общий формат:
<head>
…[другой код, который должен быть в HTML-заголовке веб-страницы]…
<link href = «АДРЕС (URL) ОРИГИНАЛЬНОЙ СТРАНИЦЫ» rel = «canonical» />
…[другой код, который может быть в HTML-заголовке веб-страницы]…
</ HEAD>
Например, для текущей страницы указать ее каноническую ссылку <link rel=«canonical» href="http://site.com/canonical-link.html"/>.
Атрибут rel = ‘’canonical’’ должен быть добавлен в HTML-заголовок каждой повторяющейся версии страницы, а часть «АДРЕС (URL) ОРИГИНАЛЬНОЙ СТРАНИЦЫ» выше заменена ссылкой на исходную (каноническую) страницу.
Атрибут передает примерно одинаковое количество веса ссылки в качестве перенаправления 301, и, поскольку он реализован на уровне страницы (вместо сервера), более легок в исполнении.
Мета-роботы Noindex.
Один метатег, который может быть особенно полезен при работе с дублями контента, – это meta robots, когда он используется со значениями «noindex, follow».
Обычно называемый Meta Noindex, Followи технически известный как content = «noindex, follow», этот тег мета-роботов добавляется в HTML-заголовок каждой отдельной страницы, который должен быть исключен из индекса поисковой системы.
Общий формат:
<head>
…[другой код, который должен быть в HTML-заголовке веб-страницы]…
<meta name = «robots» content = «noindex, follow»>
…[другой код, который должен быть в HTML-заголовке веб-страницы]…
</ HEAD>
Тег meta robots позволяет поисковым системам сканировать ссылки на странице, но не позволяет им включать эти ссылки в свои индексы. Важно, чтобы дубли страниц все равно сканировалась, хотя говорите Google не индексировать ее, потому что Google явно предостерегает от ограничения доступа к общему доступу к дублированию контента на вашем веб-сайте.
Поисковые системы желают видеть все на случай, если вы сделали ошибку в своем коде.
Использование мета-роботов является особенно хорошим решением для разрешения проблемы с дублями страниц.
Предпочтительная обработка доменов и параметров в Google Search Console.
Консоль Google Search Console позволяет указать предпочтительный домен сайта (например, http://yoursite.com вместо http://www.yoursite.com) и указать, должен ли Googlebot сканировать различные параметры URL-адреса по-разному, т.е. обрабатывать параметры.
В зависимости от структуры URL-адреса и причины возникновения проблемы с дублями страниц, можно настроить или предпочитаемый домен, или обработку параметров (или оба!).
Основным недостатком использования обработки параметров в качестве основного метода работы с копиями страниц является то, что эти изменения, работают только в Google.
Любые правила, введенные с помощью Google Search Console, не повлияют на то, как Яндекса, так и других поисковых систем, которые сканируют сайт. Придется использовать инструменты для других поисковых систем в дополнение к настройке параметров в Search Console.
Файл robots. txt.
В файле robots. txt сообщается поисковым ботам, какие страницы или файлы не стоит сканировать.
Для этого используют директиву «Disallow». Она запрещает заходить на ненужные страницы.
Заметьте, если страница указана в robots. txt с директивой Disallow, это не значит, что страница не будет проиндексирована, и не попадёт в выдачу.
Это может произойти, потому что
· страница была проиндексирована ранее,
· на неё есть внутренние
· или внешние ссылки.
Инструкции robots. txt носят рекомендательный характер для поисковых ботов. Поэтому этот метод не гарантирует удаление дублей из списка ранжированных страниц.
Всегда тег rel = canonical гарантирует, что версия вашего сайта получит дополнительный кредит доверия как «оригинальный» фрагмент контента.