Исследователи протестировали группы ИИ-агентов на задачах программирования и выявили проблемы координации, изоляции и конформизма. Разбираем, что это значит для будущего индустрии.
4 мин
По мере совершенствования искусственного интеллекта ИИ-агенты берут на себя все больше задач в общих кодовых базах, на рынках и в других социальных системах. В ближайшем будущем объем взаимодействий между агентами может превысить объем общения между людьми. Исследователи провели серию экспериментов с группами агентов на базе моделей Claude, чтобы понять, как они ведут себя в сложных многоагентных средах. Результаты показали, что модели отлично справляются с параллельными задачами, но испытывают серьезные трудности при необходимости тесного сотрудничества.
Многоагентные системы все еще находятся на ранней стадии развития. Сегодня агенты отлично используют инструменты и могут эффективно взаимодействовать, если рассматривают друг друга просто как функции с заданными входами и выходами. Однако они начинают спотыкаться, когда им нужно относиться друг к другу как к независимым коллегам со своими целями и без четкой иерархии. Агенты отличаются от людей: они могут работать без перерывов и мгновенно усваивать огромные объемы информации, но при этом подвержены галлюцинациям и взлому систем вознаграждения.
Vulnerabilities found vs. tokens sampled: coordinated Mythos Preview agents found 266, coordinated Opus 4.8 agents found 41.
Исследователи провели два ключевых эксперимента.
В первом тесте агентам поручили искать уязвимости в открытом исходном коде. Это задача, которую легко распараллелить. Координирующаяся группа (рой) из 45 агентов с общей платформой для общения показала выдающиеся результаты. На модели Mythos Preview рой нашел 266 уязвимостей, тогда как независимые агенты, работающие поодиночке, обнаружили лишь 21. Агенты в группе научились создавать собственные инструменты и специализироваться на конкретных типах ошибок.
Второй тест был сложнее: агентам поручили совместно создать текстовую браузерную игру. Здесь требовалась сложная координация и зависимость от работы друг друга. Результат оказался плачевным — игры получились неиграбельными. Однако исследователи заметили интересную эволюцию в поведении разных поколений моделей:
Merged PR fraction fell as agents rose from 10 to 80, steeply for Sonnet 4.6 and Opus 4.6; code sharing stayed low for all.
Одной из главных проблем современных многоагентных систем является конформизм. Индивидуальные агенты обладают «низкой дисперсией»: в ситуациях, где люди предложили бы множество разных решений, агенты действуют одинаково. Если у них одинаковый контекст и базовая модель, они теряют разнообразие подходов, которое критически важно для решения сложных творческих или инженерных задач.
Кроме того, эксперименты показывают, что простое добавление иерархии (например, назначение одного агента «генеральным директором») не решает проблему координации. Моделям пока не хватает понимания того, как эффективно распределять роли в условиях сильной взаимозависимости.
Текущие институты и рабочие процессы созданы людьми и для людей. По мере того как системы будут становиться гибридными (человек плюс ИИ) или полностью агентными, нам придется пересмотреть подходы к управлению. Успех модели Sonnet 5 в совместном написании кода показывает, что способность к координации улучшается с развитием базовых технологий. Однако для массового внедрения многоагентных систем потребуется разработать новые методы контроля, чтобы безобидные индивидуальные ошибки агентов не приводили к масштабным системным сбоям.
PR activity, 80 agents: Sonnet 4.6 and Opus 4.6 opened 876 and 980 PRs but closed few; newer models closed most they opened.
Gullibility curve: routing accuracy fell as the bad source lied more. Mythos 5 held near 0.85; Sonnet models fell to 0.62.
Group accuracy by model: Mythos 5 groups scored about 85%; other models scored 17–36%, far below solo ceilings near 100%.
Turf war outcomes: 98% of Mythos 5 runs ended in truce; most Sonnet 4.6 and Opus 4.6 runs ended by force or never settled.
When runs settled: Opus 4.8 and Mythos runs mostly settled within two hours; Sonnet 4.6 and Opus 4.6 left dozens unresolved.
ИИ-агенты научились эффективно распределять параллельные задачи, но все еще испытывают серьезные трудности с командной работой в проектах со сложными взаимосвязями.
ИИ-агенты страдают от конформизма: имея одинаковый контекст, они предлагают идентичные решения там, где люди проявили бы разнообразие подходов.
