reymer.ai
V

Vision-Language Model

Также известен как: VLM, Визуально-языковая модель, Multimodal LLM
Генеративный AI

Определение

Vision-Language Model — мультимодальная модель, способная обрабатывать и понимать как изображения, так и текст, отвечая на вопросы о визуальном контенте.

Простое объяснение

Vision-Language Model — как эксперт, который может и смотреть на картину, и обсуждать её. Он видит изображение и отвечает на вопросы о нём на человеческом языке.

Подробнее

VLM объединяют визуальный энкодер (часто CLIP или ViT) с языковой моделью. GPT-4V, Claude 3 Vision, Gemini Pro Vision — примеры коммерческих VLM. LLaVA, Qwen-VL — открытые альтернативы. Модели могут описывать изображения, отвечать на вопросы о них, извлекать текст (OCR), анализировать графики и схемы. Применения: accessibility, document understanding, visual QA, контент-модерация. Ключевой challenge — grounding: связывание текстовых описаний с конкретными областями изображения.

Связанные термины

Outpainting

Outpainting — расширение границ изображения за пределы оригинала с генерацией нового контента, соответствующего стилю и содержанию.

Prompt Engineering

Промпт-инжиниринг — искусство и наука составления эффективных запросов (промптов) к AI-моделям для получения качественных результатов.

GPT-5

Ожидаемая мультимодальная большая языковая модель следующего поколения от компании OpenAI.

Gemini

Gemini — мультимодальное семейство AI-моделей от Google DeepMind, объединяющее понимание текста, изображений, аудио и видео.

DALL-E

DALL-E — модель генерации изображений от OpenAI, названная в честь художника Дали и робота WALL-E.

Speech-to-Text

Speech-to-Text (STT) — технология автоматического распознавания речи и преобразования её в текст.

Вернуться к глоссарию