Pre-training
Определение
Предобучение — начальный этап обучения AI-модели на огромных объёмах неразмеченных данных для формирования базовых знаний и способностей.
Простое объяснение
Это когда AI сначала читает огромное количество текстов из интернета, чтобы выучить язык и получить базовые знания.
Подробнее
Этапы создания LLM:
- Pre-training — обучение на интернет-данных
- Instruction tuning — обучение следовать инструкциям
- RLHF — alignment с человеческими предпочтениями
Pre-training требует огромных вычислительных ресурсов (миллионы GPU-часов).
Связанные термины
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.
Модель
Модель в ML — обученный алгоритм, который принимает входные данные и выдаёт предсказания или генерирует результат.
CLIP
CLIP (Contrastive Language-Image Pre-training) — модель OpenAI, связывающая изображения и текст в общем пространстве представлений.
VAE
Variational Autoencoder — генеративная модель, которая учится кодировать данные в компактное латентное пространство и декодировать обратно, используя вероятностный подход.
LoRA
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.
RLHF
Reinforcement Learning from Human Feedback — метод обучения AI-моделей на основе человеческих предпочтений, используемый для выравнивания поведения модели с человеческими ценностями.