Как с помощью SEO-чек-листа устранить препятствия для индексации перед запуском нового сайта?

То, что новый сайт нормально открывается, не означает, что поисковые системы могут его сканировать и индексировать. Перед запуском используйте checkliste seo (чек-лист SEO), чтобы сначала устранить ограничения доступа, конфликты директив индексации и путаницу с URL, а затем проверить контент и внутренние ссылки. Чек-лист помогает устранить контролируемые препятствия, однако индексация по-прежнему зависит от того, обнаружит ли поисковая система страницу, обработает ли её и сочтёт ли качественной.

При приёмке проверяйте не только главную страницу. Как минимум выборочно проверьте страницы товаров, категории, статьи, страницы запросов или покупок; на многоязычном сайте также охватите версии на всех языках. Ошибка в настройках общего шаблона может затронуть целую группу страниц.

Сначала убедитесь: разрешены ли сканирование и индексация в рабочей среде

На тестовых сайтах доступ часто ограничивают паролем, белым списком IP-адресов или директивой запрета индексации. При запуске легко перенести эти ограничения в рабочую среду, просто сменив домен. Следующие пункты должны быть обязательными условиями допуска к запуску:

• Статус доступа: страницы, которые должны индексироваться, должны возвращать корректный код состояния 200, не требовать входа в систему и не отображать нормальный контент при ошибочном статусе.
• robots.txt: проверьте, не остались ли правила, запрещающие сканирование всего сайта, и не заблокированы ли по ошибке важные каталоги, например страницы товаров и категорий.
• Директивы индексации: проверьте как meta robots в HTML, так и X-Robots-Tag в заголовках HTTP-ответа, чтобы исключить ошибочное указание noindex.
• Защита: убедитесь, что CDN, брандмауэр и проверка на роботов не блокируют сканирование поисковыми системами на постоянной основе; особенно проверьте доступ из-за рубежа.

robots.txt ограничивает сканирование, а noindex запрещает индексацию — эти директивы не заменяют друг друга. Если сканирование страницы запрещено, поисковая система может не прочитать содержащуюся на ней директиву noindex; в то же время разрешённое сканирование не означает, что разрешена индексация. Поэтому нельзя считать проверку пройденной только на том основании, что robots.txt ничего не блокирует.

Унифицируйте URL, чтобы сигналы индексации не указывали на неверные страницы

Если один и тот же контент доступен по нескольким адресам, например по HTTP и HTTPS или с www и без него, выберите основной вариант, а затем унифицируйте адреса с помощью постоянных перенаправлений. Внутренние ссылки, canonical и карта сайта также должны использовать этот вариант, чтобы избежать лишних переходов.

canonical указывает, какой вариант поисковой системе предпочтительнее выбрать; это сигнал для канонизации. При проверке обратите особое внимание на то, не указывает ли он на тестовый домен, не направляют ли все страницы товаров ошибочно на главную страницу и не ведёт ли он на адрес с перенаправлением, ошибкой или запретом индексации.

На многоязычном сайте обычно следует указывать для каждой языковой страницы соответствующий ей канонический URL, а связь между языками или регионами обозначать с помощью hreflang. Не направляйте все языковые версии через canonical на английскую главную страницу. hreflang также не заменяет переведённый контент и доступные ссылки для переключения языка.

Параметры фильтрации, сортировки и отслеживания следует обрабатывать в соответствии с их назначением. Страницы категорий с самостоятельным поисковым спросом и достаточным контентом можно оставить; для дублирующихся URL, которые отличаются только порядком сортировки, следует установить единые правила канонизации.

После обеспечения доступа к страницам проверьте, можно ли обнаружить их содержимое

Если до страницы товара можно добраться только через строку поиска, фильтр или сложную последовательность кликов, поисковой системе может быть трудно её обнаружить. На важные страницы должны вести обычные ссылки из навигации, категорий или связанных статей. Лучше использовать тег a с действительным атрибутом href, а не полагаться только на обработчики кликов в скриптах.

На сайтах с рендерингом JavaScript проверьте полноту заголовков, основного текста, ссылок и canonical после рендеринга. Небольшой объём исходного кода не обязательно означает, что страницу нельзя индексировать. Однако если контент зависит от входа в систему, действий пользователя или неработающего интерфейса API, страница, которую видит поисковый робот, может отличаться от страницы для пользователя.

Проверяйте контент на конкретных страницах: указаны ли на странице товара назначение, характеристики и критерии выбора, есть ли у страницы категории чёткая тема, отвечает ли статья на реальный вопрос. Массовая замена названий товаров, сохранение текста-заполнителя по умолчанию или публикация пустых страниц категорий могут привести к появлению большого количества страниц без самостоятельной ценности. Заголовок страницы и главный заголовок также должны точно соответствовать её содержанию; не используйте одну и ту же рекламную фразу на всём сайте.

Несуществующие адреса должны возвращать 404 или 410. Если страница возвращает 200, но показывает только сообщение «Контент не найден», её могут распознать как soft 404. Страницы товаров, временно отсутствующих в наличии, можно оставить, если на них сохранена информация о товаре и указаны альтернативы; удалять их во всех случаях необязательно.

Используйте карту сайта и инструменты проверки, чтобы зафиксировать результаты приёмки

В XML-карту сайта следует включать прежде всего канонические URL, которые должны индексироваться и доступны для просмотра. Исключите тестовые адреса, адреса с перенаправлением и страницы с запретом индексации. Отправка карты сайта помогает поисковым системам обнаруживать страницы, но не гарантирует их индексацию и не заменяет внутренние ссылки.

Перед запуском можно просканировать внутренние ссылки, коды состояния и директивы индексации с помощью инструмента для сканирования сайта. После открытия сайта для общего доступа подтвердите его в Google Search Console, отправьте карту сайта и запустите проверку актуального состояния для типовых URL. Проверка актуального состояния показывает текущую доступность и рендеринг, а отчёт об индексации отражает уже обработанные данные; эти сведения могут обновляться не одновременно.

В приёмочном чек-листе рекомендуется фиксировать «проверяемый URL, ожидаемый результат, фактический результат, ответственного, дату повторной проверки». После обнаружения проблемы исправьте соответствующий шаблон, а затем проверьте другие страницы на том же шаблоне. Не закрывайте проблему, исправив только один пример URL.

Проводите запуск и продвижение в рамках единого процесса приёмки

Ограничения доступа ко всему сайту, ошибочная директива noindex на важных страницах, canonical, указывающий на тестовый домен, и невозможность загрузить основной контент — это проблемы, которые необходимо устранить до допуска к запуску. Такие замечания, как отсутствие описания у неключевого изображения, можно зафиксировать и устранить позже; не смешивайте их с факторами, блокирующими индексацию.

Если после запуска также планируется реклама в Facebook, можно одновременно проверить доступность посадочных страниц, отправку форм, работу на мобильных устройствах и события отслеживания. Для рекламы и органической индексации действуют разные требования к проверке; платный трафик сам по себе не исправляет ошибки в настройках индексации. Вопрос о том, должна ли специальная рекламная страница участвовать в органическом поиске, следует решать с учётом назначения контента.

Если вы выбираете такую платформу, как 易营宝, которая предоставляет комплексные услуги по созданию сайтов и зарубежному маркетингу, включите чек-лист в требования к сдаче проекта и определите, кто изменяет шаблоны, кто поддерживает карту сайта и кто отслеживает проблемы с индексацией. Если после запуска появляются статусы «Обнаружена, но не проиндексирована» или «Просканирована, но не проиндексирована», продолжайте проверку с учётом журналов сканирования, дублирующегося контента и ценности страницы, а не ограничивайтесь повторной отправкой URL. После каждой смены шаблона, изменения языковых версий или массовой публикации товаров также проверяйте эти важные настройки.