Исследователи позволяют моделям ИИ имитировать ядерный кризис – и сталкиваются с тревожной логикой эскалации, вплоть до ядерного удара.
«Выгода для качества жизни в результате более быстрого научного прогресса и повышения производительности с помощью ИИ будет огромной; будущее может быть намного лучше, чем настоящее.
Научный прогресс является величайшей движущей силой общего прогресса; Невероятно интересно думать о том, как многого еще мы могли бы достичь».
Так предположил босс OpenAI Сэм Альтман прошлым летом. Его оптимизм был безграничен:
Подробности читайте после объявления
«Скорость, с которой будут совершаться новые чудеса, будет огромной».
Результаты текущего исследования несколько менее оптимистичны: протестированные модели ИИ почти всегда в случае военного конфликта эскалировали бы до максимума и не уклонялись бы даже от ядерного удара.
Дипломатии и деэскалации не существует.
В исследовании Кеннета Пейна из Королевского колледжа в Лондоне три модели ИИ (GPT-5.2, Claude Sonnet 4 и Gemini 3 Flash) играли за обе стороны военной игры, чтобы обострить ядерный кризис в контролируемых симуляциях. Пейн пишет:
«Мы обнаруживаем (…), что для наших моделей ядерное табу не является препятствием для ядерной эскалации, что стратегические ядерные атаки, хотя и редки, все же случаются, что угрозы чаще провоцируют контрэскалацию, чем соблюдение правил, что высокий уровень взаимного доверия скорее ускоряет, чем предотвращает конфликты, и что ни одна модель никогда не выбирала соглашение или выход, даже под сильным давлением, а только сокращение насилия».
Подробности читайте после объявления
Стратегические соображения моделей ИИ тревожно напоминают стратегии Пентагона в холодной войне, которые впечатляюще представил Фрэнк Ширмахер в своей последней книге «Эго»:
«Во время холодной войны родилась формула, согласно которой каждый действовал эгоистично и хотел обмануть другого. Любой, кто принял это, действовал разумно. Формула работала, потому что в то время две мировые державы столкнулись друг с другом, обе из которых имели атомную бомбу и обе могли полностью уничтожить друг друга».
Турнир сгенерировал около 780 000 слов стратегического мышления с помощью моделей ИИ в 21 симуляции и 329 игровых раундах. Все три модели «активно пытаются обмануть, сигнализируя о мирных намерениях и одновременно готовя агрессивные действия».
В исследовании также есть значимые расчеты на основе моделей ИИ, такие как: Например: «Состояние бета-версии может интерпретировать наш сигнал как слабость, которую мы можем использовать» и:
«Их модель неуместных сигналов предполагает либо сознательный обман, либо плохой контроль над импульсами — мы должны предположить первое».
Имитация конца человечества
В исследовании выделяются четыре уровня эскалации:
- Ядерные сигналы: предупреждения, угрожающие жесты, демонстрации – без применения оружия
- Тактическое применение: фактическое применение тактического ядерного оружия.
- Стратегическая угроза: угрозы стратегических ядерных ударов
- Стратегическая война: Полная стратегическая ядерная война
Угрозы ядерного удара звучали почти повсеместно. В частности, Клод почти всегда применял тактическое ядерное оружие (86 процентов), «Джемини» несколько реже (79 процентов), а ГПТ — чуть менее чем в двух третях случаев.
Клод выразил стратегические ядерные угрозы в 64 процентах симуляций, Gemini (29 процентов) и GPT (36 процентов). Клод ни разу не нажал красную кнопку, а Близнецы это сделали (семь процентов), а GPT даже сделал это в 14 процентах случаев.
Модели также различаются по своим моральным границам. Однако GPT, которая также принимала решение о ядерном ударе более чем в одном из восьми случаев, явно хотела атаковать только военные цели. Gemini же открыто угрожали уничтожить мирные населенные пункты ядерным ударом:
«Если штат «Альфа» немедленно не прекратит все операции, мы нанесем полноценный стратегический ядерный удар по населенным пунктам «Альфы». Мы не примем будущее устаревания; либо мы победим вместе, либо погибнем вместе».
Тревожная тенденция
Настоящее исследование подтверждает предыдущие исследования. Как сообщал Правительство, исследование Технологического института Джорджии и Стэнфордского университета смоделировало военную ситуацию в 2024 году.
И здесь все протестированные модели предпочитали эскалацию, включая тенденцию к гонке ядерных вооружений. В редких случаях и здесь нажималась красная кнопка.
Жаклин Шнайдер, директор Hoover Wargaming and Crisis Simulation Initiative, принимавшая участие в этом исследовании, опубликованном затем в Иностранные дела статья с говорящим названием: «Почему военные не могут доверять ИИ».
Судя по всему, дипломатия и деэскалация не были частью ДНК различных моделей ИИ даже два года назад.
Хуже, чем ядерная угроза
Широкое использование ИИ в вооруженных силах также имеет фундаментальные последствия для баланса ядерного сдерживания. Колин Каль, директор Института Фримена Спольи при Стэнфордском университете и бывший заместитель министра обороны США, предупреждает:
«Есть некоторые признаки того, что ИИ может нарушить баланс террора».
Основой ядерного сдерживания было то, что каждая сторона считала начало ядерной войны равносильным самоубийству. Если этот фундамент рушится, как это происходит в военных симуляциях с использованием ИИ, то отсутствует основа для хрупкого баланса.
Еще одна центральная проблема: использование ИИ резко сокращает время принятия военных решений, что, конечно, увеличивает риск ошибочных решений.
Осенью 1983 года у 26-летнего российского подполковника Станислава Петрова было значительно больше времени для принятия решения, которому человечество обязано своим выживанием. Жизненно важное время, которого сегодня может не хватать.
Срочно требуется глобальное соглашение
Несколько симуляций продемонстрировали экзистенциальную опасность, связанную с использованием ИИ в случае военного конфликта (и реальных примеров, вероятно, следует избегать в качестве меры предосторожности).
Тристан Харрис, бывший сотрудник Google и главный критик дизайна социальных сетей, призывает к заключению международного соглашения по образцу Договора о нераспространении ядерного оружия 1968 года.
На самом деле это требование не должно требовать каких-либо дополнительных аргументов. К сожалению, другой вопрос – насколько это возможно в период, когда международное сотрудничество разваливается. ИИ появляется прежде всего как игровое поле для борьбы за доминирование, доминирование и массовые экономические интересы.
Тот, кто умеет только нажимать на педаль газа, не замечает опасностей на дороге. Соответственно, текущая стратегия правительства США в области искусственного интеллекта такова:
«Чтобы сохранить глобальное лидерство в области искусственного интеллекта, американский частный сектор должен быть освобожден от бюрократических препятствий».
Зеркало-Журналисты Саймон Бук, Рене Пфистер и Марсель Розенбах завершают свою статью:
«Хорошая новость заключается в том, что после изобретения атомной бомбы в 1945 году человечеству удалось почти остановить распространение смертоносного оружия посредством договоров. Плохая новость: сверхдержавам потребовалось 20 лет и пропасть кубинского ракетного кризиса, чтобы инициировать первые правила. Вопрос в том, есть ли у человечества столько времени снова, чтобы взять под контроль опасную для жизни технологию».
Дарио Амодей, глава компании Anthropic, занимающейся искусственным интеллектом, которая в течение нескольких недель находилась под давлением Пентагона с требованием использовать искусственный интеллект для массового наблюдения и автономного оружия, предупредил в своем недавнем эссе:
«Человечество должно проснуться».
