Влияет ли настройка hreflang на индексацию многоязычного сайта

После запуска многоязычного сайта часто возникает следующая ситуация: англоязычная страница находится в поиске, а страницы на немецком, французском или японском долго не попадают в индекс; или же соответствующая страница явно присутствует в результатах поиска, но пользователи из Франции при поиске постоянно перенаправляются на английскую версию. Команда обычно сначала подозревает качество перевода контента, производительность сервера или карту сайта, а в итоге обнаруживает, что проблема сосредоточена в группе, казалось бы, незначительных тегов hreflang.

Индексация сайта и hreflang действительно связаны, однако сначала необходимо скорректировать одно представление: hreflang — это не переключатель «отправки на индексацию». Его основная задача — помочь поисковым системам понять, для какого языка и какого региона предназначены несколько схожих страниц, и выбрать более подходящий URL в соответствующем поисковом сценарии. Возможность сканирования и индексации страницы по-прежнему зависит от базовых условий: доступности, кода статуса, правил robots, указания канонической страницы, качества контента и внутренних ссылок.

Сначала определите: страница не проиндексирована или отображается неверная версия

Перед проверкой лучше разделить эти явления. Если URL для определённого языка вообще не удаётся найти в поисковой системе, основное внимание следует уделить условиям сканирования и праву на индексацию; если URL уже проиндексирован, но результаты поиска в разных странах или на разных языках показывают неподходящую версию, это скорее указывает на некорректную обработку сигналов hreflang.

Например, схожая структура контента у /en/product-a/, /de/product-a/ и /fr/product-a/ является нормальной. Поисковым системам необходимо с помощью языковых меток, языка страницы, канонической страницы и внутренних ссылок определить, что это соответствующие локализованные версии, а не дублирующиеся страницы. Если немецкая страница указывает canonical на английскую или для неё задан noindex, то даже при полном hreflang сложно добиться ожидаемого регионального отображения.

Наиболее распространённые конфигурации, вызывающие путаницу при распознавании

Первый тип — нестандартная запись языковых кодов. Для языка обычно используются коды ISO 639-1, например en, de, fr; для региона — коды ISO 3166-1 Alpha 2, например en-US, en-GB. Не следует использовать en-UK для британского английского: код региона Великобритании — GB. Кроме того, язык и регион соединяются дефисом. Хотя регистр обычно не определяет успех или неудачу, единый формат удобнее для обслуживания.

Второй тип — отсутствие замкнутого цикла взаимных ссылок. Страницы в одной языковой группе должны указывать на себя, а также на другие альтернативные версии. Если английская страница ссылается на немецкую, но немецкая не содержит обратной ссылки на английскую, поисковая система может не распознать их как устойчиво соответствующие друг другу. Самоссылки часто упускаются, особенно при массовом создании тегов с помощью шаблонов.

Третий тип — несоответствие URL. В теге указан адрес без завершающего слеша, а фактическая страница перенаправляет на адрес со слешем; в теге сохранён HTTP-адрес, тогда как сайт уже полностью использует HTTPS; страницы с параметрами, страницы пагинации или адреса с различающимся регистром смешаны в одной языковой группе. Эти, на первый взгляд, небольшие различия делают взаимосвязь страниц одной группы неясной. В hreflang следует по возможности указывать канонический URL, который возвращает код состояния 200, а не адрес, перенаправляющий на другую страницу, возвращающий 404 или заблокированный robots.

Рассматривайте canonical и hreflang вместе

Распространённая ошибка на многоязычных страницах — указывать canonical всех языковых версий на страницу основного языка. Такой подход фактически сначала сообщает поисковой системе: «немецкая страница — лишь дубликат английской», а затем с помощью hreflang: «это самостоятельная версия, которую должны посещать пользователи из Германии». При конфликте этих двух сигналов последний обычно не может выполнить свою функцию должным образом.

Более разумная базовая настройка такова: canonical каждой реально существующей языковой версии, способной самостоятельно обслуживать пользователей, указывает на неё саму; языковые соответствующие страницы одного и того же контента связываются через hreflang. Только если страница действительно является дублирующей страницей с параметрами, версией для печати или вариантом без самостоятельной ценности, стоит рассматривать указание canonical на основную версию. Нельзя выполнять межъязыковую каноникализацию всех страниц лишь из-за схожести их контента.

Начинайте проверку с одной группы страниц

Не сканируйте сразу весь сайт. Сначала выберите одну страницу с описанием товара или ключевую целевую страницу, перечислите URL всех её языковых версий и убедитесь, что каждый адрес открывается в среде без авторизации и региональных ограничений. Затем просмотрите link rel="alternate" в исходном коде страницы и проверьте языковые коды, целевые URL, наличие самоссылок и возвращает ли каждая версия одну и ту же полную языковую группу.

После этого проверьте заголовки ответа и объявления на странице. Убедитесь в отсутствии noindex, ошибочного X-Robots-Tag, правил robots.txt, запрещающих сканирование, а также в том, что сервер не выполняет принудительное перенаправление на страницу другого языка на основе IP посетителя. Автоматические рекомендации языка можно сохранить, но пользователю необходимо предоставить понятный способ переключения; если поисковая система при обращении к немецкому URL всегда перенаправляется на английскую главную страницу, это повлияет и на индексацию, и на языковое соответствие.

Далее проверьте канонические страницы, карту сайта и внутренние ссылки. В XML Sitemap можно добавить информацию hreflang, а HTTP Header также применим к файлам не в формате HTML, например PDF, однако для одной и той же группы страниц не следует выводить противоречивые сопоставления из нескольких источников. Для обычных веб-страниц поддержку в HTML<head> обычно вести нагляднее. Переключатель языков, навигация и списки контента также должны вести на реальные страницы целевого языка, а не всегда возвращать на главную страницу.

x-default не является обязательным, но не следует понимать его неверно

Если сайт имеет страницу выбора языка, глобальную страницу по умолчанию либо невозможно однозначно подобрать определённый язык и регион, x-default можно использовать для указания резервного URL. Это не языковая версия для какой-либо страны и не может заменить конкретные объявления, такие как en и zh-CN. Если на сайте нет отдельной страницы выбора языка, можно непосредственно указать подходящую страницу языка по умолчанию, однако необходимо обеспечить, чтобы эта страница была доступна, индексируема и согласованно связана с другими версиями.

После внесения изменений не судите об успехе только по наличию тегов в исходном коде. Следует анализировать статус индексации, определение канонической страницы и подсказки, связанные с интернационализацией, в инструментах для веб-мастеров поисковых систем. Если страница по-прежнему не индексируется, вернитесь к результатам проверки URL и в первую очередь устраните проблемы со сбоем сканирования, исключением дубликатов и статусом «обнаружено, но не проиндексировано»; если страница уже проиндексирована, но региональное отображение нестабильно, продолжайте проверять различия языкового контента, полноту взаимных ссылок и стратегию перенаправления.

В конечном счёте ценность hreflang для многоязычного сайта заключается в снижении вероятности того, что «правильную страницу увидит неправильный пользователь», а не в обходе порога индексации. Сначала обеспечьте каждому языковому URL независимые условия для индексации, затем свяжите страницы согласованными, замкнутыми и непротиворечивыми языковыми метками. Тогда проблемы, связанные с индексацией сайта и hreflang, обычно будет легче локализовать, и они будут реже повторяться при последующем добавлении новых языков.