CLIP
Определение
CLIP (Contrastive Language-Image Pre-training) — модель OpenAI, связывающая изображения и текст в общем пространстве представлений.
Простое объяснение
CLIP — как переводчик между языком и картинками. Понимает, что текст "закат над океаном" и соответствующее фото — об одном и том же.
Подробнее
Связанные термины
Transformer
Трансформер — архитектура нейронной сети с механизмом внимания (attention), ставшая основой современных языковых моделей и генеративного AI.
Машинное обучение
Подраздел AI, где алгоритмы учатся на данных и улучшают свои результаты без явного программирования.
Few-shot Learning
Few-shot Learning — способность модели выполнять новую задачу, увидев лишь несколько примеров в промпте без дополнительного обучения.
LoRA
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.
NLP
Обработка естественного языка (NLP) — область AI, занимающаяся взаимодействием компьютеров с человеческим языком: понимание, генерация, перевод.
KV Cache
KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.