Multimodal AI
Определение
Мультимодальный AI — системы, способные обрабатывать и генерировать данные разных типов: текст, изображения, аудио, видео — одновременно.
Простое объяснение
Это AI, который понимает всё сразу: и текст, и картинки, и звук — как человек, который может читать, смотреть и слушать одновременно.
Подробнее
Примеры мультимодальных моделей:
- GPT-4o — текст, изображения, аудио
- Gemini — нативно мультимодальный
- Claude 3 — текст + изображения
- CLIP — связь текста и изображений
Тренд: переход от single-modal к универсальным моделям.
Связанные термины
DALL-E
DALL-E — модель генерации изображений от OpenAI, названная в честь художника Дали и робота WALL-E.
Prompt Engineering
Промпт-инжиниринг — искусство и наука составления эффективных запросов (промптов) к AI-моделям для получения качественных результатов.
Upscaling
Upscaling — увеличение разрешения изображения с помощью AI, добавляющего реалистичные детали, которых не было в оригинале.
Diffusion Models
Диффузионные модели — класс генеративных моделей, которые учатся создавать данные путём постепенного удаления шума из случайного входа.