Сообщается, что США и Россия отменили правила защиты автономного оружия на переговорах в ООН. Тестирование целей ИИ на людях теперь также отсутствует.
Война будущего, вероятно, будет в гораздо большей степени полагаться на искусственный интеллект и автономные системы вооружения, чем это происходит сегодня.
Подробности читайте после объявления
Конечно, это несет в себе риски: США едва не спровоцировали войну с Китаем, которую предотвратил лишь человек, вновь критически изучив ответ чат-бота с искусственным интеллектом. При нападении на школу для девочек в Минабе (Иран), в результате которого погибли 123 ребенка, военные, видимо, полагались на ИИ от Palantir, который не распознавал устаревшие фотографии. И хорошо известно, что Израиль полагался на выбор целей ИИ в своей войне в Газе.
На этом фоне регулирование применения военного ИИ является этически необходимым – и Организация Объединенных Наций уже давно стремится к этому. Но, как показали переговоры в Женеве в начале сентября, этому сопротивляются именно крупные военные державы, согласно докладу Вашингтон Пост шоу.
Таким образом, это был последний день переговоров, и, как сообщается, делегации США и России приступили к обезвреживанию важнейшего документа в свою пользу в марафоне, продолжавшемся около 15 часов.
Фактически он должен поставить заслон смертоносному автономному оружию, то есть тем системам, которые могут выбирать и атаковать цели без вмешательства человека. По данным исследования компании Вашингтон Пост В конце концов, несколько защитных статей отсутствовали. Требование о том, что люди должны проверять военные цели, созданные ИИ, перед атакой также было удалено.
В своем сообщении газета опирается на трех человек, знакомых с конфиденциальными разговорами, и на документы, которые были ей доступны. Соответственно, обе делегации также удалили формулировку, требующую, чтобы автономное оружие функционировало предсказуемо и надежно. Исчез и пассаж, требующий учитывать этические аспекты при использовании такого оружия.
Сообщается, что каждая из двух команд привела с собой около десяти адвокатов. Это почти вдвое больше, чем у многих других делегаций. Согласно сообщению, встреча прошла за закрытыми дверями: камеры ООН были выключены, а наблюдателям гражданского общества пришлось покинуть помещение. Один участник описал процедуру как «смерть от тысячи порезов бумагой».
Подробности читайте после объявления
Госдепартамент США, МИД России и ООН не ответили на запросы газеты.
Верити Койл, заместитель директора по вооружению в Human Rights Watch, предупредила The Washington Post, что слабые правила могут означать, что машины будут принимать решения о жизни и смерти без контроля человека.
Что можно доказать, а что нельзя
Точные формулировки удаленных пунктов публично не задокументированы. Какие именно места изменились между черновиками и окончательной версией, можно лишь частично проследить по опубликованным документам.
На сайте экспертной группы ООН описана их работа. В итоговом отчете группы рекомендовано обсудить и утвердить разработанные элементы на обзорной конференции 16-20 ноября. Он не подтверждает отдельные утверждения об изменениях текста.
Хьюман Райтс Вотч предоставляет более подробную информацию. По данным организации, пересмотренная версия продолжает содержать заявления о человеческом контроле и суждениях в соответствии с международным правом. Однако упоминания о проектировании и разработке такого оружия были исключены. Также отсутствуют доказательства объяснимости и прослеживаемости.
Кроме того, правовые рамки стали более узкими: в тексте больше говорится не о международном праве в целом, а только о международном гуманитарном праве, то есть о правилах ведения вооруженных конфликтов.
Что означает человеческий контроль на практике
Организация уже описала, что должен означать «человеческий контроль» в операциях, в заявлении о переговорах до окончания раунда переговоров.
По мнению HRW, пункт 36 проекта призывает, среди прочего, к созданию ответственной цепочки подчинения, в рамках которой люди будут оценивать соблюдение юридических обязательств и этических норм.
Кроме того, развертывание должно быть ограничено: по масштабам, типу целей, времени, месту и количеству возможных атак. Только людям разрешено изменять цели и характеристики миссии, и они должны иметь возможность отключить систему или обезвредить ее. В принятом докладе в пункте 35 отсутствуют этические нормы, ограничение количества атак и оговорки относительно целей и спецификаций миссии. Вмешательство и остановка должны быть возможны только там, где это возможно.
Остается неясным, как это можно проверить. Ни в одном из существующих документов не указано, какие испытания или измерения покажут, что оружие работает «предсказуемо» и «надежно». Также не существует общей процедуры испытаний для контроля человека. Исключенное теперь обязательство вести себя надежно могло бы стать отправной точкой для установления таких критериев.
Демонстрация американского стартапа Scout AI показала, что здесь используются настоящие технологии. По словам компании, ее система искусственного интеллекта планировала и управляла транспортными средствами и дронами. Дрон подлетел к цели самостоятельно и выпустил заряд взрывчатого вещества, без дистанционного управления и без заранее запрограммированной последовательности.
Аналогичные вопросы возникают и с автономными кораблями-роботами ВМС США. В оружейной промышленности звучат даже призывы к ограничениям: руководитель Rheinmetall Армин Паппергер призывает к установлению глобальных правил. Однако неясно, кто должен писать и обеспечивать соблюдение таких правил.
решение в ноябре
Пока ничего не является обязательным. Многолетние дискуссии в рамках Конвенции ООН по конкретным видам обычного оружия (КОО) пока привели лишь к необязательным рекомендациям.
В ноябре государства обсудят, приведет ли это к официальным переговорам по новому международному своду правил. По данным Human Rights Watch, сейчас такие переговоры поддерживают 76 государств, 70 из которых являются договаривающимися сторонами с правом голоса. Однако конференция принимает решения консенсусом, поэтому отдельные государства, такие как США или Россия, могут заблокировать начало переговоров.
Генеральный секретарь ООН Антониу Гутерриш и президент Международного комитета Красного Креста Мирьяна Сполярич Эггер ранее призвали запретить дроны-убийцы.
До конференции также будет стоять вопрос о том, пригоден ли ослабленный текст в качестве основы для таких переговоров.
