Caixin Weekly сообщает: манипулирование ответами ИИ с помощью чёрного GEO создаёт сложности для регулирования

Как сообщает Caixin Weekly, с ростом спроса на оптимизацию для генеративных систем (GEO) некоторые поставщики услуг стали манипулировать ответами ИИ, «отравляя» большие языковые модели и подавая им ложную информацию. Эта недобросовестная практика получила название «чёрный GEO». В публикации на примере трёх случаев раскрывается схема работы теневого рынка ложной информации и рассматриваются возможные подходы к его регулированию.

Суть проблемы в том, что ложную информацию используют для влияния на ответы генеративных систем. Для пользователей, которые полагаются на такие ответы при поиске информации, важна достоверность контента; для участников рынка манипулируемые ответы также могут повлиять на общественное восприятие соответствующей информации.

От распространения ложной информации к регулированию конкуренции

Чёрный GEO — это не только распространение ложного контента, но и использование такого контента для влияния на ответы ИИ. При выявлении подобных проблем необходимо отличать обычную оптимизацию информации от манипулирования ответами с помощью ложной информации, а также учитывать, как ложная информация попадает в соответствующие процессы и как она связана с ответами.

Задачи регулирования, обозначенные в публикации, предстоит и далее оценивать с учётом доступной открытой информации. Как квалифицировать конкретные действия, как распределять ответственность и какие меры способны эффективно пресечь подобные практики — всё это важные вопросы для понимания дальнейших подходов к регулированию.