Как выявить нецелевой трафик на зарубежном сайте с помощью журналов доступа

Рост посещаемости зарубежного сайта при отсутствии увеличения числа запросов: начните с поиска подозрительных запросов в журналах доступа. Проверьте, какие источники обращаются к сайту постоянно, какие страницы запрашивают, регулярны ли интервалы между запросами и обращаются ли они к точкам конверсии, например к формам. Для выявления нецелевого трафика на зарубежном сайте необходимо учитывать совокупность признаков: один лишь зарубежный IP-адрес, высокая частота посещений или отсутствие запросов не доказывают, что трафик нецелевой. Реальные посетители, легитимные роботы, вредоносное сканирование и рекламное мошенничество оставляют в журналах разные признаки.

Сначала согласуйте охват журналов, чтобы не принять расхождения в статистике за аномалию

Журнал доступа фиксирует запросы, а не количество посетителей. При загрузке одной страницы могут запрашиваться изображения, скрипты и таблицы стилей; инструменты веб-аналитики зависят от выполнения скриптов и настроек согласия. Разница в показателях сама по себе не свидетельствует о накрутке трафика.

После подключения сети доставки контента журнал сервера-источника может фиксировать только запросы к источнику, не учитывая обращения, обслуженные из кэша. Если реальный IP-адрес клиента настроен некорректно, в журнале также может отображаться адрес прокси-узла. Перед проверкой уточните охват журналирования и доверяйте адресам клиентов, переданным только настроенными доверенными прокси. Нельзя без проверки принимать поля пересылки, содержащиеся в произвольных запросах.

Как минимум сохраняйте время запроса и часовой пояс, IP-адрес клиента, метод запроса, путь, код состояния, количество байтов ответа, страницу-источник и идентификатор клиента. При наличии возможности добавьте время обработки запроса, решение пограничного узла и идентификатор запроса. Параметры запроса можно использовать для отслеживания источников рекламных переходов, однако не следует записывать в журналы содержимое форм, пароли или полные персональные данные.

Похожие модели посещений требуют разных способов обработки

У каждого из этих признаков есть ограничения. Кэш браузера уменьшает количество запросов к статическим ресурсам, а автоматизированные программы также могут выполнять скрипты. В общей офисной сети несколько человек могут пользоваться одним внешним IP-адресом. Идентификатор поискового робота тоже можно подделать: проверяйте его по опубликованным диапазонам адресов либо с помощью заявленных методов обратного и прямого разрешения DNS.

Разделите аномалии на три группы признаков: частота, пути и источники

Частоту запросов следует сравнивать с базовыми показателями самого сайта. Сначала проверьте историческое количество запросов в те же дни недели и примерно в то же время, затем определите временной интервал с резким ростом. После подсчета запросов по IP-адресам также изучите идентификаторы клиентов, пути запросов и доступные данные о сеансах. Большое количество запросов к страницам товаров с одного адреса за короткое время может быть связано как с массовым сбором данных, так и с обычными посещениями через общий шлюз. Подозрение на автоматизацию усиливается, если одновременно наблюдаются регулярные интервалы, повторяющаяся последовательность действий и длительная активность.

Пути запросов помогают понять характер трафика. Постоянные попытки обратиться к несуществующим административным страницам существенно отличаются по смыслу от посещений страниц категорий, товаров и контактов. Анализируйте запросы страниц, статических файлов и API отдельно: загрузка изображений может искусственно увеличить частоту, а периодические запросы к API легко принять за повторные просмотры страниц.

Источники необходимо проверять по нескольким признакам. Поле страницы-источника может отсутствовать или быть подделано, а геолокация IP-адреса не подтверждает фактическое местоположение посетителя. Посещения из-за пределов целевого региона показа рекламы могут происходить через прокси-сети, из-за пересылки ссылок или неточности геолокации. Повышать уровень риска уместно лишь при наличии дополнительных признаков: аномальной периодичности, нерелевантных путей или массового повторяющегося поведения.

Журналы помогают выявить подозрительные посещения, но сами по себе не доказывают рекламное мошенничество

Наличие рекламных параметров в запросе к целевой странице говорит лишь о том, что данный запрос содержал метки. Подобные записи могут также появляться при копировании ссылки, сканировании страницы поисковым роботом и предварительной загрузке страницы. Чтобы оценить качество платного трафика, сопоставьте время посещения целевой страницы, параметры канала, идентификатор клика и отчеты рекламной системы, а затем свяжите эти данные с отправкой формы, квалифицированными запросами или заказами.

При сопоставлении времени приведите данные к единому часовому поясу и различайте время клика, перехода на сайт и конверсии. Если посетители из определенного источника массово заходят на одну целевую страницу, но не делают последующих запросов, источник можно включить в список для проверки. Однако разрыв в цепочке действий также может быть вызван блокировкой скриптов, сбоем загрузки страницы или прерыванием междоменного отслеживания. Прежде чем оценивать качество трафика, убедитесь, что страница и настройки аналитики работают корректно.

По журналам также нельзя напрямую определить точное время пребывания на сайте. После последнего запроса посетитель может продолжать читать страницу; успешный код ответа не означает, что содержимое полностью отобразилось. Поэтому «только один запрос» или «нет конверсии» — подходящие критерии для отбора на проверку, но не основание для блокировки.

Сначала проверьте правила, затем расширяйте блокировку

Для начала задайте правила наблюдения для явно распознаваемых путей сканирования и устойчиво аномальной частоты запросов. Фиксируйте запросы, соответствующие правилам, а затем решайте, применять ли ограничение скорости, проверку доступа или блокировку. Для источников, подозреваемых в накрутке трафика, сохраняйте проверяемый временной интервал, образцы запросов и связанные идентификаторы, чтобы сверить их с данными рекламных кампаний. Не блокируйте целую страну или регион только из-за низкой конверсии.

После применения правила одновременно отслеживайте, сократилось ли количество аномальных запросов, остаются ли доступными обычные страницы, не затруднен ли доступ проверенных поисковых роботов и корректно ли отправляются формы. Если количество запросов снизилось, но уменьшилось и число квалифицированных запросов, проверьте, не блокируется ли легитимный трафик. Для каждого нового правила предусмотрите возможность отмены, чтобы все действия можно было связать с конкретными доказательствами.