Агенты сходят с ума: LinkedIn вскрыл фатальную ошибку в архитектуре GPT-OSS

Пока весь мир ждет GPT-5, в кулуарах open-source разработки разыгралась настоящая драма. LinkedIn, пытаясь превратить модель GPT-OSS в полноценного AI-агента, столкнулся с проблемой, которая ставит под угрозу саму идею обучения агентов на открытых моделях.

Ожидание: Вы берете мощную модель, подключаете Reinforcement Learning (RL), и она учится использовать инструменты, писать код и планировать действия, как OpenAI o3-mini.

Реальность: Градиенты взрываются, награды (rewards) не растут, а модель сходит с ума.

Что пошло не так?

Команда LinkedIn использовала фреймворк verl для обучения GPT-OSS-20B. Задача была простой: научить модель решать задачи (GSM8K, ReTool), используя внешние инструменты. Но графики обучения показали катастрофу.

Расследование привело к шокирующему открытию: архитектура Mixture of Experts (MoE) в GPT-OSS ведет себя недетерминировано.

В алгоритме PPO (Proximal Policy Optimization) критически важно сравнивать «старую» и «новую» политику модели. Но из-за особенностей MoE, один и тот же запрос мог направляться к разным «экспертам» внутри нейросети при повторном прогоне. Математически это означало, что модель «забывала», почему она приняла решение секунду назад.

«Призрак» в машине

Это не просто баг кода, это фундаментальный конфликт между скоростью и точностью:

1. Проблема маршрутизации: Гейтинг-сеть (gating network) отправляла данные разным экспертам из-за микроскопических различий в вычислениях с плавающей запятой. В итоге отношение вероятностей (importance sampling ratio) улетало от единицы, ломая весь процесс обучения.
2. Конфликт движков: Оказалось, что движки для инференса (vLLM, SGLang), оптимизированные под скорость, и движки для тренировки (FSDP), заточенные под точность, выдают разные результаты на одних и тех же данных. Это превращало on-policy обучение в off-policy хаос.

Как это починили?

Инженеры применили грубую силу математики:

• Принудительная синхронизация: Они жестко зафиксировали log-probabilities, заставляя алгоритм считать, что маршрутизация прошла идентично.
• Заморозка внимания: Чтобы изолировать проблему, пришлось даже замораживать слои attention во время тестов.

Почему это важно? LinkedIn показал, что мы не можем просто брать готовые LLM и «доучивать» их до агентов методами 2023 года. Архитектура MoE, которая экономит нам деньги на инференсе, становится главным врагом при сложном RL-обучении. Если вы строите своих агентов на open-source — проверьте свои графики loss-функции. Возможно, ваша модель тоже «лжет» сама себе.