Исследователи Google DeepMind и NUS показали, что параллельная генерация нескольких решений и выбор лучшего стабильно превосходит последовательную цепочку "подумай ещё раз". Причина - языковые модели становятся "ленивыми" и копируют предыдущие ответы вместо поиска новых решений.
3 мин
Оригинал: arXiv:2604.05868 Авторы: Xiangming Gu, Soham De, Larisa Markeeva, Petar Velickovic, Razvan Pascanu (Google DeepMind, National University of Singapore) Дата: 7 апреля 2026
Когда нужно решить сложную задачу - математическую олимпиаду или написать код - языковые модели рассуждения (LRM) могут ошибаться с первого раза. Есть два способа повысить качество:
Интуитивно кажется, что второй способ должен быть лучше - модель учится на своих ошибках. Но исследователи Google DeepMind доказали обратное: параллельный сэмплинг стабильно побеждает на математике и в генерации кода. И объяснили почему.
Авторы протестировали оба подхода на нескольких моделях:
Задачи - два бенчмарка:
Для параллельного сэмплинга генерировали 64 решения и выбирали лучшее голосованием. Для последовательного - 8 раундов, каждый раз давая модели предыдущий ответ с обратной связью.
Параллельный сэмплинг победил во всех экспериментах:
Авторы проверили три гипотезы:
1. Дело в агрегации? Нет. Даже когда к последовательным решениям применяли тот же метод голосования, параллельный всё равно побеждал. Агрегация помогает, но не объясняет разрыв.
2. Дело в длинном контексте? Нет. Авторы добавляли в контекст параллельного сэмплинга до 32K нерелевантных токенов - производительность не падала. Длина контекста не является причиной.
3. Модели становятся "ленивыми"? Да. Это главная причина. При последовательном сэмплинге модели:
Авторы визуализировали механизм через карты внимания: в модели активируются так называемые "induction heads" - специальные головы внимания, которые копируют паттерны из предыдущих ответов. Модель буквально смотрит на свой прошлый ответ и воспроизводит его, вместо того чтобы искать новый путь решения.
Для всех, кто использует AI-агентов в разработке или бизнесе:
Это подтверждает тренд в индустрии: Claude Code, Cursor и другие AI-кодинг агенты всё чаще используют параллельную генерацию с автоматической проверкой тестами вместо цепочек самокоррекции.
