Агенты сходят с ума: LinkedIn вскрыл фатальную ошибку в архитектуре GPT-OSS
Почему ваши AI-агенты не обучаются, а градиенты взрываются? Инженеры LinkedIn обнаружили, что популярная архитектура MoE буквально саботирует процесс RL-тренировки.
Пока весь мир ждет GPT-5, в кулуарах open-source разработки разыгралась настоящая драма. LinkedIn, пытаясь превратить модель GPT-OSS в полноценного AI-агента, столкнулся с проблемой, которая ставит под угрозу саму идею обучения агентов на открытых моделях.
Ожидание: Вы берете мощную модель, подключаете Reinforcement Learning (RL), и она учится использовать инструменты, писать код и планировать действия, как OpenAI o3-mini.
Реальность: Градиенты взрываются, награды (rewards) не растут, а модель сходит с ума.
Что пошло не так?
Команда LinkedIn использовала фреймворк verl для обучения GPT-OSS-20B. Задача была простой: научить модель решать задачи (GSM8K, ReTool), используя внешние инструменты. Но графики обучения показали катастрофу.
Расследование привело к шокирующему открытию: архитектура Mixture of Experts (MoE) в GPT-OSS ведет себя недетерминировано.
В алгоритме PPO (Proximal Policy Optimization) критически важно сравнивать «старую» и «новую» политику модели. Но из-за особенностей MoE, один и тот же запрос мог направляться к разным «экспертам» внутри нейросети при повторном прогоне. Математически это означало, что модель «забывала», почему она приняла решение секунду назад.
«Призрак» в машине
Это не просто баг кода, это фундаментальный конфликт между скоростью и точностью:
- Проблема маршрутизации: Гейтинг-сеть (gating network) отправляла данные разным экспертам из-за микроскопических различий в вычислениях с плавающей запятой. В итоге отношение вероятностей (importance sampling ratio) улетало от единицы, ломая весь процесс обучения.
