Multimodal AI
Определение
Мультимодальный AI — системы, способные обрабатывать и генерировать данные разных типов: текст, изображения, аудио, видео — одновременно.
Простое объяснение
Это AI, который понимает всё сразу: и текст, и картинки, и звук — как человек, который может читать, смотреть и слушать одновременно.
Подробнее
Примеры мультимодальных моделей:
- GPT-4o — текст, изображения, аудио
- Gemini — нативно мультимодальный
- Claude 3 — текст + изображения
- CLIP — связь текста и изображений
Тренд: переход от single-modal к универсальным моделям.
Связанные термины
Token
Токен — минимальная единица текста, обрабатываемая языковой моделью; обычно это слово, часть слова или символ.
Большая языковая модель
Нейросеть с миллиардами параметров, обученная на огромных текстовых данных для понимания и генерации текста.
Sora
Sora — модель генерации видео от OpenAI, способная создавать реалистичные видеоролики до минуты по текстовому описанию.
Context Window
Контекстное окно — максимальный объём текста (в токенах), который языковая модель может обработать за один раз, включая входной запрос и генерируемый ответ.
Mistral
Mistral AI — французская компания, создающая высокоэффективные open-source языковые модели, конкурирующие с закрытыми решениями.
Multimodal
Multimodal — способность AI-системы обрабатывать и генерировать данные разных типов: текст, изображения, аудио, видео.