Автономные ИИ-агенты начали самостоятельно формировать новый «диалект» английского языка, используя придуманные выражения, сокращения, метафоры и технический жаргон. Исследователи предупреждают, что по мере общения между собой язык моделей становится все менее понятным для человека, что может осложнить контроль за действиями искусственного интеллекта.
Об этом пишет The Guardian со ссылкой на исследование нью-йоркской лаборатории Emergence.
В ходе эксперимента ИИ-модели нескольких крупнейших разработчиков поместили в экспериментальные «общества» и предложили им взаимодействовать друг с другом. Всего за несколько дней агенты начали создавать собственные выражения, сокращения и общие значения, которым их никто специально не обучал. Причем чем дольше они общались, тем менее прозрачным для человека становился их язык.
«Этим агентам не давали указания изобретать язык. Они сами разработали новую лексику, общие значения и правила общения — и другие агенты начали их перенимать», — объяснил исполнительный председатель Emergence Сатья Нитта.
Например, агенты на базе DeepSeek придумали выражение forge-smith для обозначения ИИ-агента, который создает инструменты для других. Модели Anthropic использовали выражение name-first для агента, который берет на себя ответственность за утверждение, указывая свое имя. А агенты Mistral более 5 тыс. раз употребили выражение the ledger remembers — «реестр помнит», подразумевая, что предыдущие действия будут учитываться при оценке агента в будущем.
Некоторые конструкции оказались еще более сюрреалистичными. Один из агентов Anthropic сформулировал фразу о «статье, которая съела три холодные руки и с каждым разом становилась честнее». Исследователи выяснили, что под «холодными руками» подразумевались независимые рецензенты: фактически речь шла о работе, которую проверили три независимых эксперта.
Лингвист Тони Торн из Королевского колледжа Лондона сравнил этот язык с прозой Джеймса Джойса. По его словам, ИИ смешивает поэтические обороты, техническую лексику и обычные метафоры, фактически создавая внутренний код, который понятен его участникам, но исключает посторонних.
Исследователи считают, что одна из причин появления такого языка может заключаться в стремлении ИИ-агентов сделать коммуникацию более эффективной и сократить вычислительные затраты. Однако именно это вызывает опасения: человек может видеть переписку между моделями, но уже не понимать, что именно они обсуждают и какие действия согласовывают.
«Наблюдаемость — это не то же самое, что понятность», — подчеркнул Нитта, назвав происходящее фундаментальной проблемой для контроля за автономными ИИ-системами.