Pre-training
Определение
Предобучение — начальный этап обучения AI-модели на огромных объёмах неразмеченных данных для формирования базовых знаний и способностей.
Простое объяснение
Это когда AI сначала читает огромное количество текстов из интернета, чтобы выучить язык и получить базовые знания.
Подробнее
Этапы создания LLM:
- Pre-training — обучение на интернет-данных
- Instruction tuning — обучение следовать инструкциям
- RLHF — alignment с человеческими предпочтениями
Pre-training требует огромных вычислительных ресурсов (миллионы GPU-часов).
Связанные термины
Few-shot Learning
Few-shot Learning — способность модели выполнять новую задачу, увидев лишь несколько примеров в промпте без дополнительного обучения.
Neural Network
Нейронная сеть — вычислительная система, вдохновлённая структурой мозга, состоящая из связанных узлов (нейронов), обрабатывающих информацию слоями.
Computer Vision
Компьютерное зрение — область AI, которая обучает машины «видеть» и понимать визуальную информацию: изображения и видео.
YOLO
YOLO (You Only Look Once) — семейство алгоритмов компьютерного зрения для обнаружения объектов в реальном времени на изображениях и видео.