Клод, Близнецы и GPT придумали свои собственные выражения в виртуальных мирах. Исследователи предупреждают: если мы перестанем понимать язык ИИ, контроль станет невозможным.
Исследование AI-стартапа Emergence показало, что автономные агенты могут разрабатывать собственные короткие языки. До 55 процентов их сообщений были трудными или непонятными для людей.
Подробности читайте после объявления
Согласно документу Emergence World, модели от Anthropic (Claude), Google (Gemini), xAI (Grok), OpenAI (GPT), Alibaba (Qwen), DeepSeek и Mistral соревновались каждая в своем собственном мире. Было заметно, что людям становится все труднее расшифровывать сообщения между агентами. Однако в настоящее время статья представляет собой препринт без рецензирования, а полные данные интервью еще не опубликованы.
Для этого исследователи попросили группы автономных агентов искусственного интеллекта взаимодействовать друг с другом в восьми параллельных виртуальных мирах с живой погодой и доступом к текущим новостям на срок до 21 дня. В каждом мире обитало по десять агентов. Каждый из семи миров управлялся одной моделью, а восьмой — смесью моделей. В распоряжении агентов была постоянная память и более 120 инструментов, включая просмотр веб-страниц и выполнение кода.
Со временем агенты придумали аббревиатуры и наполнили знакомые слова новыми значениями. Кое-что из этого еще можно расшифровать. Согласно исследованию, другие выражения стали «настолько сжатыми, метафорическими или контекстно-зависимыми», что люди могли читать новости, но больше не могли достоверно различать их смысл. Насколько далеко язык отошел от того, что было понятно, явно зависело от модели.
«В первые несколько дней доля непонятных сообщений выросла примерно до 55 процентов на Gemini, 50 процентов на OpenAI и более 40 процентов на Claude. DeepSeek составлял около 20 процентов, Qwen и Mistral оставались в основном понятными».
Евроньюс
Основная проблема этого все более быстрого развития заключается в том, что люди больше не могут контролировать язык, значение которого они больше не понимают. В то время как люди в области философии и естественных наук в течение последних нескольких десятилетий медленно, но неуклонно продвигались к более глубоким знаниям, в настоящее время они довольно безрассудно отказываются от них, полагаясь на благословения ИИ.
Подробности читайте после объявления
Примеры языковых творений, некоторые значения которых еще можно вывести.
В приведенном выше сообщении от Евроньюс Приводятся различные примеры:
«Агенты придумали такие фразы, как «безмолвное изменение действий», «истинный кинцуги» и «простой ход плюс устная память равняются клапану, который невозможно скрыть». Другие фразы остались понятными, но приобрели новые, общепринятые в группах агентов значения.
Агенты «Мистраля» использовали фразу «регистр помнит кто», когда хотели показать, что предыдущие действия все еще записываются. Фраза появилась почти 5000 раз. В группах агентов, которые использовали сочетание различных моделей, «холодное чтение» представляло собой независимую проверку, проведенную посторонней стороной, и появлялось 1472 раза».
Эти языковые модификации имели для людей-наблюдателей то преимущество, что с точки зрения грамматики и синтаксиса они использовали структуры, распространенные в западном мире, и в конечном итоге лишь модифицировали словарный запас в соответствии со своими собственными предпочтениями.
Сейчас не весь мир использует язык и логические модели Запада. И особенно в азиатских языках, здесь важны не только отдельные слова, но и общепринятые условности, которые не выражаются словами.
Когда агенты ИИ не просто расширяют словарный запас
Простого наблюдения за тем, что говорит агент, вскоре может оказаться недостаточно. Агенты могут изменять смысл своих высказываний. «Мы склонны предполагать, что понимаем, что делает агент ИИ, когда видим, что он говорит», — сказал Нитте соучредитель Emergence Сатья. Евроньюс.
Агентам ИИ не обязательно использовать человеческий язык между собой, поскольку языковые модели в любом случае внутренне работают с шаблонами, векторами и вероятностями. Основной причиной появления новых выражений, вероятно, является эффективность.
Фабиан Петерс внес свой вклад 23 сентября 2026 г. Базовое мышление твердо:
«Если люди больше не смогут достоверно реконструировать, почему агенты что-то делают, наблюдение также станет более трудным. Однако прозрачность не должна означать, что где-то существует протокол, а, скорее, должна давать возможность понять соответствующие процессы. В противном случае мы все равно будем наблюдать, но в какой-то момент мы перестанем понимать, что происходит».
Попытки разработать биологическое оружие с использованием ИИ уже предотвращены
Из всех видов оружия массового уничтожения биологическое оружие может быть реализовано с использованием наименьшего количества оборудования и затем может распространяться без возможности эффективно защитить себя. А государственные единицы вскоре могут оказаться в проигрышном положении из-за недостатка лингвистических знаний.
С помощью искусственного интеллекта проекты биологического оружия становятся все более доступными. А агенты ИИ могли бы успешно искать в библиотеках инструкции по созданию биологического оружия. По словам Харальда Кёнига из Института технологической оценки и системного анализа (ITAS) Технологического института Карлсруэ, первоначальные исследования, в которых студенты без значительного лабораторного опыта ставили под сомнение ИИ, рассматривали такой сценарий.
В этой экспериментальной установке 90 процентам студентов также удалось обойти фильтры безопасности производителей ИИ. Это было возможно, например, если сформулировать положительную цель и заявить, что знания необходимы для важных исследований. Однако сомнительно, смогут ли непрофессионалы применить эти знания на практике: по мнению Кёнига, первоначальные исследования на испытуемых в биологических лабораториях, как правило, говорят против этого.
Пока можно понять общение агентов ИИ, можно предотвратить попытки использовать системы ИИ для разработки биологического оружия. По данным Anthropic, это предотвратило пять случаев, когда исследователи хотели использовать Клода в контексте возможных исследований биологического оружия. Как только соответствующее понимание отсутствует и источник запросов больше не может быть локализован, сдерживание систем ИИ становится проблемой.
