Как сканирование поисковыми системами влияет на позиции сайта в SEO?

Сканирование поисковыми системами влияет на позиции сайта, поскольку поисковой системе сначала нужно посетить страницу и получить её содержимое, чтобы затем определить, включать ли её в индекс и подходит ли она для отображения в соответствующих результатах поиска. Само по себе сканирование не гарантирует высоких позиций: даже если страница была посещена, она всё равно может не попасть в индекс; а включение в индекс не означает, что она обязательно займёт высокую позицию.

Чтобы понять, как сканирование влияет на позиции в SEO, нужно рассматривать его как часть процесса «обнаружение URL, сканирование содержимого, индексация и ранжирование». Препятствия для сканирования могут задержать переход новых страниц или обновлённого контента к следующим этапам. При этом даже страницы, которые сканируются без проблем, должны соответствовать другим критериям ранжирования, включая качество контента и его соответствие поисковому намерению.

Как связаны сканирование, индексация и ранжирование?

Сканирование — это процесс, в ходе которого поисковая система с помощью автоматизированной программы посещает URL и считывает ответ. Поисковая система может обнаружить URL через внутренние ссылки, ссылки с других сайтов или карту сайта, а затем решить, когда его посетить. Получив страницу, она также может выполнить рендеринг, чтобы обработать содержимое, отображение которого зависит от JavaScript.

Индексация — это обработка полученного содержимого и включение выбранных страниц в индекс. Если содержимое нескольких URL во многом совпадает, поисковая система может выбрать один из них в качестве канонической версии. Ранжирование происходит, когда пользователь выполняет поиск: поисковая система находит в индексе результаты, соответствующие запросу, и определяет порядок их показа.

Эти этапы не всегда выполняются за фиксированный промежуток времени. Например, после публикации статьи о продукте поисковая система может быстро обнаружить её URL, но отложить сканирование. Или страница уже может быть просканирована, но ещё не проиндексирована, если поисковая система сочтёт её содержимое дублирующимся или недостаточно ценным. Поэтому отсутствие страницы в результатах поиска означает лишь, что результаты отображаются не так, как ожидалось, но не позволяет сразу заключить, что сканирование не удалось.

Как препятствия для сканирования влияют на результаты поиска?

Новые страницы могут быть обнаружены несвоевременно. Если на страницу нет ссылок из соответствующих разделов, навигации или других уже известных страниц, поисковой системе, возможно, придётся обнаруживать её через карту сайта или другие источники. Карта сайта помогает указать URL, но отправка URL не гарантирует сканирование или индексацию. На многоязычных сайтах обнаружение страниц на разных языках также может затрудниться, если перейти на них можно только с помощью скрипта или формы.

Опубликованные обновления могут обрабатываться с задержкой. После обновления заголовка, основного текста или информации о продукте поисковой системе нужно повторно просканировать и обработать страницу, чтобы изменения могли отразиться в результатах поиска. Повторное сканирование не происходит в фиксированные сроки; даже после сканирования поисковая система может выбрать для показа другой заголовок или описание.

Поисковая система может получить неполное содержимое. Успешный ответ сервера не означает, что основной текст страницы обязательно доступен для чтения. Если ключевое содержимое загружается после выполнения запросов JavaScript, а соответствующие ресурсы заблокированы, запросы завершаются ошибкой или результат рендеринга неполон, поисковая система может получить страницу, содержащую только навигацию и пустые контейнеры. То, что страница выглядит нормально в браузере, само по себе не доказывает, что поисковая система видит то же содержимое.

Проблемы с сервером могут снизить эффективность доступа. При постоянных тайм-аутах, сбоях соединения или большом количестве ошибок сервера программа сканирования может сократить число запросов, чтобы не увеличивать нагрузку на сервер. Влияние единичных ошибок отличается от влияния постоянных сбоев; его следует оценивать с учётом времени возникновения, масштаба и восстановления работы.

Какие настройки могут привести к неверным выводам?

robots.txt и директивы запрета индексации

robots.txt сообщает соблюдающим правила программам сканирования, какие пути не следует сканировать. URL, сканирование которого запрещено, всё ещё может появиться в результатах поиска благодаря таким сигналам, как внешние ссылки, но поисковая система не сможет нормально прочитать содержимое страницы. Если вы хотите запретить индексацию с помощью директивы noindex на странице, поисковая система должна иметь возможность открыть страницу и увидеть эту директиву. Одновременная блокировка сканирования, напротив, помешает ей прочитать директиву.

При запуске сайта также следует проверить, не остались ли правила от тестовой среды. Запрет сканирования всего сайта, сохранённый на странице noindex или блокировка важных ресурсов могут помешать индексации рабочих страниц в соответствии с ожиданиями. При устранении проблемы сначала определите, на каком уровне она возникла, а затем измените соответствующую настройку.

Коды состояния, перенаправления и канонические URL

Код состояния HTTP, возвращаемый страницей, влияет на то, как поисковая система интерпретирует URL. Страница, которая постоянно возвращает код 404, указывает на отсутствие ресурса; временные сбои сервера обычно отображаются как ошибки 5xx. Если страница была перенесена, подходящее постоянное перенаправление может вести на соответствующий новый URL. Массовое перенаправление множества старых страниц на не связанную с ними главную может нарушить соответствие между исходным содержимым, поисковой системой и посетителями.

Одинаковое содержимое также может иметь несколько URL из-за параметров фильтрации, отслеживания или разных путей. Каноническая ссылка указывает предпочтительную версию, но служит подсказкой, а не обязательной директивой. Если внутренние ссылки, карта сайта и перенаправления указывают на разные версии, сигналы канонизации становятся противоречивыми.

Частое сканирование не означает улучшения позиций

Поисковая система планирует сканирование с учётом состояния сайта, изменений содержимого и собственной оценки. Если на крупном сайте есть большое количество малоценных страниц с параметрами, дублирующихся страниц или бесконечных комбинаций фильтров, запросы на сканирование могут расходоваться на URL с низкой ценностью, что затрудняет обнаружение и обновление важных страниц. Для небольших и стабильно работающих сайтов простое увеличение частоты сканирования не обязательно изменит позиции.

Кроме того, удаление бесполезных URL не заменяет улучшение контента. Если поисковая система уже стабильно посещает страницы и включает их в индекс, позиции по-прежнему следует оценивать с учётом того, отвечают ли страницы на поисковые запросы, насколько ясна информация и насколько релевантны страницы конкурентов.

Как определить, связана ли проблема со сканированием или с последующими этапами?

Для начала выберите конкретный URL, проверьте в инструменте проверки URL от поисковой системы сведения об обнаружении, сканировании и индексации, а также дату последнего сканирования. Если инструмент сообщает о сбое сканирования, проверьте ответ сервера, перенаправления, права доступа и robots.txt. Если указано, что страница просканирована, но не проиндексирована, выясните, не дублируется ли содержимое, согласован ли канонический URL и содержит ли страница достаточно уникальной информации.

При проверке также следует различать результаты тестирования в реальном времени и ранее сохранённый статус: тест в реальном времени показывает, можно ли получить доступ к странице в момент проверки, но не означает, что поисковая система уже обработала её повторно. После изменения правил можно провести тестирование ещё раз и отправить запрос на сканирование, однако для обработки результата поисковой системе потребуется время.

Журналы сервера дополняют сведения из инструментов: они показывают, когда программа сканирования запрашивала URL, какие именно URL запрашивались, какие коды состояния были получены и не обращалась ли она многократно к страницам с параметрами. При анализе журналов следует проверять подлинность программы сканирования, чтобы не принять обычный запрос или поддельный идентификатор робота за посещение поисковой системы. Сопоставление журналов, результатов проверки URL и даты публикации страницы позволяет точнее отличить задержку обнаружения от проблем с доступом и решения об индексации.