Китайские авиаконструкторы предупредили о «галлюцинациях» военных нейросетей

Китайские авиаконструкторы предупредили, что ненадежные ответы больших языковых моделей (LLM) могут искажать военное планирование и влиять на разработку перспективных вооружений. С таким предостережением выступили инженеры Исследовательского и конструкторского института авиационной техники AVIC в Чэнду — организации, стоящей за созданием истребителя J-20 и участвующей в разработке перспективного истребителя следующего поколения J-36.

В центре внимания специалистов — большие языковые модели. Они способны за считаные секунды анализировать огромные массивы информации, но одновременно могут выдавать убедительные ответы, не имеющие под собой фактической основы. Для программ разработки боевых самолетов подобные ошибки могут оказаться особенно опасными. Модели способны неправильно оценить характеристики вражеских систем радиоэлектронной борьбы или возможности ракет. В результате инженеры могут принимать решения на основе разведданных, которые выглядят вполне достоверно, но не выдерживают даже элементарной технической проверки.

Анализ угроз как отправная точка проектирования

Разработка военного самолета начинается с детального анализа угроз, с которыми ему предстоит столкнуться. Инженерам необходимы точные сведения о зоне действия вражеских радаров и используемых ими частотах. Кроме того, они изучают зоны поражения ракетных комплексов и возможности средств радиоэлектронной борьбы. На конструкцию самолета могут влиять и данные о расположении самолетов дальнего радиолокационного обнаружения и наземных систем ПВО. Все эти сведения определяют требования к малозаметности, сенсорам, маневренности и боевому радиусу машины. Поэтому ошибка на этапе анализа угроз способна повлиять на весь проект еще до того, как инженеры окончательно сформулируют требования к будущему самолету.

Чжан Сяньчжэ, инженер, связанный с китайской школой проектирования авиационной техники в Чэнду, предупредил, что большие языковые модели способны выдумывать весьма конкретные военные сведения. Речь может идти о размерах малозаметных истребителей, боевой нагрузке, характеристиках вооружения, максимальной скорости и боевом радиусе. Отдельную проблему представляют данные о радарах. Военная разведывательная система может сообщить неверную дальность обнаружения или неправильные диапазоны рабочих частот, при этом представить эти сведения с полной уверенностью. Ответ будет выглядеть настолько убедительно, что ошибку не всегда удастся обнаружить сразу.

Риски для проектирования и разведки

Проблема не ограничивается ошибочными техническими характеристиками. По словам Чжана, военная модель способна, например, рекомендовать материалы, реальные пределы усталостной прочности которых ниже заявленных, или предложить маневры, противоречащие законам аэродинамики. Она также может разработать план операции, в котором самолету предлагается выйти далеко за пределы его реальной дальности действия.

Военная разведка создает еще один уровень риска. Системы на основе нейросетей способны генерировать несуществующие военные базы, подразделения или передвижения войск, которых никогда не было. Если аналитики используют такие данные в моделировании, они могут получить совершенно ложное представление о реальных боевых возможностях противника. Это создает серьезную проблему для оборонных структур, которые все активнее стремятся использовать большие языковые модели для более быстрой обработки разведывательной информации. Даже если окончательное решение остается за человеком, проверять каждую рекомендацию нейросети становится все сложнее по мере роста объема и скорости поступающих данных.

Подобные риски уже нельзя считать исключительно теоретическими. Согласно сообщениям, одна из военных операций с большим числом жертв в начале этого года была проведена после того, как система определила цель как приоритетную — при этом использовались устаревшие разведывательные данные.

Чжан предложил несколько способов снизить вероятность так называемых галлюцинаций нейросетей — случаев, когда система уверенно генерирует вымышленные сведения. По его мнению, оборонным организациям следует ограничивать модели проверенными военными данными и создавать структурированные базы знаний, позволяющие оперативно сверять полученные ответы. Уточнение формулировок запросов также может уменьшить неоднозначность. Кроме того, инженер предложил использовать несколько нейросетей, способных проверять и оспаривать выводы друг друга.