Новости

Прогнозирование времени дообучения языковых моделей: почему расчет через FLOPs не работает

Исследователи Dharma-AI проанализировали 272 запуска дообучения моделей и выяснили, почему классический расчет времени работы ошибается на часы, предложив более точный метод на базе CatBoost.

Обновлено:
3 мин чтения
Прогнозирование времени дообучения языковых моделей: почему расчет через FLOPs не работает

Главное за 30 секунд

Стандартная формула расчета времени дообучения моделей на основе FLOPs игнорирует накладные расходы и ошибается в среднем на 12 часов. Использование ML-модели для прогноза снижает эту ошибку до 1.7 часа.

  • Проанализировано 272 задачи дообучения (7382 GPU-часов) на ускорителях NVIDIA H200.
  • Базовый расчет через FLOPs дает среднюю абсолютную ошибку 12.41 часа при среднем времени задачи 23.43 часа.
  • Модель на базе CatBoost, использующая 24 конфигурационных признака, снижает медианную ошибку до 0.51 часа (R² = 0.98).
  • Сложная аналитическая модель Calculon предсказывает лишь 11% от реального времени работы задачи.

Неочевидное: Главными факторами, увеличивающими время дообучения сверх теоретических расчетов, являются не вычислительные нагрузки, а объем данных для промежуточной оценки качества модели и частота сохранения контрольных точек.

Команда Dharma-AI опубликовала предварительные результаты исследования, посвященного прогнозированию времени дообучения (fine-tuning) генеративных языковых моделей на общих кластерах графических процессоров. Главный вывод работы заключается в том, что традиционные математические расчеты времени работы катастрофически расходятся с реальностью, но эту проблему можно решить методами машинного обучения.

Графические процессоры (GPU) остаются одним из самых дорогих и дефицитных ресурсов в индустрии искусственного интеллекта. Эффективное управление кластером требует точного понимания того, сколько времени займет каждая задача. Если процесс завершается раньше срока, оборудование простаивает. Если затягивается — сдвигается расписание всех последующих экспериментов.

Обычно команды используют для оценки базовую формулу на основе количества операций с плавающей запятой (FLOPs). Она учитывает количество параметров модели, объем обучающих токенов и теоретическую производительность GPU, умноженную на коэффициент использования вычислительной мощности (Model FLOPs Utilization, MFU). На практике MFU обычно составляет от 30% до 60%, так как идеальная загрузка недостижима из-за задержек памяти и неэффективности вычислений. Однако даже при подборе оптимального MFU этот метод дает огромную погрешность.

Исследователи проанализировали 272 реальные задачи дообучения с учителем (SFT) из производственной среды на базе ускорителей NVIDIA H200. В выборку вошли модели размером до 15 млрд параметров, использующие как полное дообучение, так и метод LoRA. Общее время работы составило около 7382 GPU-часов. Длительность задач варьировалась от 1.6 до 172.4 часа (в среднем — 23.43 часа).

Также по темеНеравномерное ускорение: как ИИ-агенты меняют процесс исследований в OpenAI

Результаты показали, что базовая оценка через FLOPs (даже при оптимальном значении MFU в 30%) объясняет лишь малую часть реального времени выполнения (R² = 0.31) и дает среднюю абсолютную ошибку (MAE) в 12.41 часа. Использование более сложной аналитической модели Calculon, учитывающей память и коммуникацию между устройствами, также не решило проблему: ее оценки составили лишь около 11% от реального времени работы.

Причина кроется в том, что аналитические формулы описывают только цикл оптимизации. В реальности задача включает настройку окружения, загрузку модели, токенизацию, а также периодические оценки качества (evaluation) и сохранение контрольных точек (checkpoints). На общем кластере эти процессы конкурируют за сеть и дисковую подсистему.

Чтобы исправить ситуацию, исследователи применили алгоритмы градиентного бустинга, используя только те 24 признака, которые известны до запуска задачи (гиперпараметры, размеры датасетов, распределение GPU). Модель на базе CatBoost показала выдающиеся результаты: R² достиг 0.98, средняя абсолютная ошибка снизилась до 1.71 часа, а медианная ошибка составила всего 0.51 часа.

Анализ важности признаков показал, что на итоговое время сильнее всего влияет объем данных для оценки качества (num_eval_data), количество сохраняемых контрольных точек и параметры распределения нагрузки.

Внедрение подобных предсказательных моделей позволит планировщикам кластеров точнее распределять задачи и минимизировать простой дорогостоящего оборудования. В текущем виде модель имеет ограничения: она обучена только на задачах SFT (без учета RLHF или DPO), привязана к инфраструктуре на базе H200 и показывает снижение точности на редких задачах длительностью более 60 часов. Тем не менее, подход демонстрирует, что учет сопутствующих операций критически важен для оценки стоимости и времени обучения современных нейросетей.

Источник:Huggingface

Читать дальше