Какие ошибки в настройках SEO сайта влияют на индексацию страниц?

Если страница не попала в индекс поисковой системы, это не обязательно связано с неправильной настройкой ключевых слов. Более непосредственной причиной может быть то, что поисковая система не может получить доступ к странице, страница помечена как запрещённая для индексирования или канонический URL указывает на другую страницу. Бывает и так, что все настройки страницы корректны, но она ещё не попала в индекс из-за дублирования контента, недостаточной ценности и других причин.

При диагностике сначала следует различить три ситуации: «страница недоступна для сканирования», «индексирование запрещено» и «страница просканирована, но не проиндексирована». Не стоит при каждом отсутствии страницы в результатах поиска снова менять заголовок или отправлять URL. Например, в Google можно проверить статус страницы в разделе «Проверка URL» в Search Console, а затем устранить конкретную причину.

Сначала убедитесь, что страница действительно не проиндексирована

Введите в Search Console полный URL, включая протокол, домен, путь и завершающий слеш. В результатах проверки будет указано, находится ли URL в индексе Google, а также приведена информация о сканировании, индексировании и канонической странице. Если на сайте существуют адреса как с параметрами, так и без них, а также варианты со слешем и без него, обязательно проверьте именно ту версию, которую вы хотите показывать в поиске.

Статус «URL есть в индексе Google» не означает, что страницу можно найти по любому ключевому слову: индексирование и ранжирование — разные вопросы. И наоборот, отсутствие страницы в результатах поиска по запросу site: само по себе не является надёжным доказательством того, что она не проиндексирована. Ориентируйтесь на результаты проверки URL.

Статус индексирования в инструменте проверки URL отражает информацию, которой располагает Google. Проверка в реальном времени позволяет проверить текущую доступность и настройки страницы, но её успешное прохождение не гарантирует, что страница будет проиндексирована. После изменения настроек также необходимо дождаться, пока поисковая система повторно просканирует страницу и обработает изменения.

Доступна ли страница: проверьте ограничения на сканирование и ответ сервера

Ошибочная блокировка в robots.txt — одна из первоочередных проблем, которую следует проверить при запуске сайта. Например, если на этапе тестирования использовалось правило Disallow: /, но после запуска его не удалили, оно не позволит затронутым средствам сканирования получать доступ к путям сайта. Проверьте файл /robots.txt в корневом каталоге домена, выясните, к каким средствам сканирования и путям относятся правила, а затем удалите или измените ненужные ограничения.

Важно учитывать, что robots.txt управляет сканированием, но не является надёжным способом запретить индексирование. Заблокированный URL всё ещё может появиться в результатах поиска по ссылкам с других страниц, но поисковая система не сможет прочитать его содержимое. Если вы хотите, чтобы общедоступная страница не индексировалась, разрешите её сканирование и используйте действующую директиву noindex. Если содержимое должно оставаться конфиденциальным, используйте средства контроля доступа, например авторизацию, а не SEO-директивы.

На обработку страницы также влияет её HTTP-статус. Общедоступные страницы должны стабильно возвращать код состояния 200. Коды 404 и 410 означают, что страница не существует или удалена; при ответе 5xx следует проверить сервер, хостинг или настройки защиты. Если на сайте настроены региональные ограничения, CAPTCHA или правила брандмауэра, убедитесь, что они не мешают сканированию поисковыми системами. Не ограничивайтесь проверкой страницы в собственном браузере.

Ещё одна распространённая проблема — «мягкая ошибка 404»: сервер возвращает 200, хотя на странице указано, что товар отсутствует, содержимое пустое или возникла ошибка. Если удалённая страница не имеет замены, сервер должен возвращать подходящий статус, указывающий на её отсутствие. Если есть подходящая замена, можно настроить перенаправление, но не следует направлять множество несвязанных старых URL на главную страницу.

Доступ разрешён, но для страницы настроен запрет на индексирование

Мета-тег в исходном коде страницы <meta name="robots" content="noindex"> или заголовок HTTP-ответа X-Robots-Tag: noindex сообщают поисковым системам, что страницу не нужно индексировать. После переноса тестового сайта на рабочий домен такие настройки могут сохраниться в переключателе «Запретить индексацию поисковыми системами» в системе управления сайтом, настройках SEO отдельной страницы или заголовках ответа сервера.

При проверке не ограничивайтесь переключателем в панели управления: откройте исходный код страницы и выполните поиск по слову noindex, а также проверьте заголовки ответа. Для файлов, не являющихся HTML, например PDF, особенно важно проверить директивы в заголовках ответа. Если страницу нужно сделать общедоступной и индексируемой, удалите соответствующие ограничения и убедитесь, что robots.txt не препятствует повторному сканированию. Иначе поисковая система может не сразу обнаружить, что директива изменилась.

Не нужно удалять все директивы noindex на сайте. Страницы результатов поиска, дублирующиеся страницы фильтров и другие страницы, не имеющие самостоятельной ценности для поиска, действительно могут не требовать индексирования. Важно убедиться, что ограничение по ошибке не применено к карточкам товаров, страницам категорий или другим страницам, которым необходим трафик из органического поиска.

Неверно настроены канонический URL и перенаправления

Тег канонического URL rel="canonical" подсказывает поисковой системе, какой вариант страницы следует предпочесть. Если для каждой страницы товара в качестве канонической ошибочно указана главная страница или одна и та же страница категории, поисковая система может счесть эти страницы товаров дубликатами, а не индексировать их по отдельности.

Проверьте canonical в исходном коде страницы или заголовках ответа и убедитесь, что он указывает на доступный URL с соответствующим содержимым, который должен попасть в индекс. Для страниц с уникальным содержимым распространённой практикой является указание собственного URL в качестве канонического. Для страниц с параметрами, содержимое которых практически не отличается, основной вариант можно указать с учётом конкретной ситуации. Canonical — это рекомендация, а не обязательная команда: Google может выбрать другой канонический URL, учитывая содержимое страницы, ссылки, перенаправления и другие сигналы.

Также проверьте перенаправления. Для переходов с HTTP на HTTPS, со старого домена на новый и при изменении путей должен быть чётко определён конечный адрес. Избегайте циклических перенаправлений и переходов на несвязанные страницы, а также ситуации, когда карта сайта и внутренние ссылки продолжают указывать на старые адреса. Если проверка URL показывает, что Google выбрал другую каноническую страницу, сравните содержимое обеих страниц и сигналы, указывающие на их приоритет, вместо того чтобы снова отправлять исходный URL.

На многоязычных сайтах независимые страницы на разных языках также могут быть ошибочно объединены каноническим URL английской главной страницы. Если страницы для разных языков или регионов содержат самостоятельную ценную информацию, проверьте canonical и разметку hreflang для каждой из них. hreflang указывает соответствие языку и региону, но не заменяет настройки, обеспечивающие доступность для сканирования и индексирования, и не гарантирует показ определённого варианта в указанном регионе.

Страница может индексироваться, но её трудно обнаружить или понять

У изолированных страниц нет доступных для сканирования внутренних ссылок. Если карточку товара можно открыть только через внутренний поиск, отправку формы или сложный интерактивный элемент, поисковой системе может быть трудно её обнаружить. Добавьте обычные HTML-ссылки на целевую страницу с соответствующих страниц категорий, навигации или контентных страниц. Используйте элементы <a> с действующим атрибутом href.

XML sitemap помогает сообщить поисковым системам об URL, которые следует обнаружить, но отправка карты сайта не равнозначна подаче запроса на индексирование. Включайте в неё в первую очередь URL, которые возвращают корректный статус, разрешены для индексирования и должны считаться каноническими. Если добавить большое количество перенаправлений, страниц с ошибкой 404 или страниц с директивой noindex, диагностика усложнится. После отправки можно проверить в Search Console, была ли карта сайта успешно прочитана и каков статус соответствующих страниц.

Если основной контент сайта выводится с помощью JavaScript, проверьте, может ли поисковая система получить и отобразить важное содержимое. Если в исходном HTML страницы почти ничего нет, а скрипты, API или ресурсы заблокированы, содержимое, которое видит поисковая система, может отличаться от того, что отображается в браузере. С помощью проверки URL в реальном времени изучите отрисованную страницу и загрузку ресурсов; при необходимости измените способ отображения или разрешите доступ к нужным ресурсам.

Статус «Просканирована, но пока не проиндексирована» не обязательно означает техническую неисправность. Если страницы нескольких товаров отличаются только моделями, а их тексты, изображения и описания почти идентичны, поисковая система может не индексировать каждую из них отдельно. Добавьте полезную информацию о фактических различиях между товарами, например характеристики или условия применения. Дублирующиеся страницы без самостоятельной ценности можно объединить или указать для них основной канонический вариант. Простое добавление ключевых слов или изменение заголовков не заменит ценное содержимое страницы.

Как проверить результат изменений

Сначала устраняйте по одной конкретной проблеме: например, удалите ошибочно добавленный noindex, исправьте canonical или восстановите доступ к заблокированному пути. После публикации изменений повторно проверьте код состояния фактического URL, исходный код страницы и заголовки ответа, а затем запустите проверку URL в реальном времени в Search Console, чтобы убедиться, что поисковая система видит изменения.

После проверки для важных страниц можно запросить индексирование. Если проблема затрагивает много страниц, сначала исправьте шаблон, настройки сайта или правила сервера, а не отправляйте страницы по одной, оставляя первопричину без внимания. Запрос на индексирование и отправка карты сайта не гарантируют попадание в индекс и не определяют сроки обработки. Если статус долго не меняется, повторно проверьте фактические результаты сканирования, канонический URL и содержимое страницы, вместо того чтобы постоянно отправлять её заново.