M

Multimodal

Также известен как: Мультимодальный, Мультимодальность
Генеративный AI

Определение

Multimodal — способность AI-системы обрабатывать и генерировать данные разных типов: текст, изображения, аудио, видео.

Простое объяснение

Multimodal — как AI с несколькими органами чувств. Может видеть, слышать, читать — и понимать связи между всем этим.

Подробнее

Мультимодальные модели объединяют разные "модальности" в единое пространство представлений. GPT-4V, Claude 3, Gemini понимают изображения и текст. Sora генерирует видео. CLIP связывает изображения и текст. Мультимодальность приближает AI к человеческому восприятию: мы тоже обрабатываем мир через разные органы чувств одновременно. Challenges: alignment между модальностями, efficient training, grounding (связь текста с конкретными объектами на изображении).

Связанные термины

Context Window

Контекстное окно — максимальный объём текста (в токенах), который языковая модель может обработать за один раз, включая входной запрос и генерируемый ответ.

Foundation Model

Фундаментальная модель — большая AI-модель, предобученная на огромных объёмах данных, которая может быть адаптирована для множества различных задач.

Uncensored LLM

Большая языковая модель, из которой разработчики удалили встроенные ограничения на генерацию контента, фильтры безопасности и цензуру.

Промпт

Текстовый запрос или инструкция, которую пользователь даёт AI-модели для получения нужного результата.

Sora

Sora — модель генерации видео от OpenAI, способная создавать реалистичные видеоролики до минуты по текстовому описанию.

GAN

Generative Adversarial Network — архитектура из двух конкурирующих нейросетей: генератора, создающего данные, и дискриминатора, отличающего реальные данные от сгенерированных.