Языковая модель
Определение
Языковая модель — AI-система, обученная понимать и генерировать текст на естественном языке, предсказывая вероятность следующего слова или токена.
Простое объяснение
Это AI, который научился работать с текстом: понимать вопросы, писать ответы, переводить и общаться как человек.
Подробнее
Эволюция языковых моделей:
- N-gram — статистические модели
- Word2Vec — эмбеддинги слов
- BERT — понимание контекста
- GPT — генеративные модели
- LLM — большие языковые модели
Современные LLM: GPT-4, Claude, Gemini, LLaMA.
Связанные термины
LLaMA
LLaMA (Large Language Model Meta AI) — семейство открытых языковых моделей от Meta, ставшее основой для множества производных моделей.
Hallucination
Галлюцинация AI — генерация языковой моделью информации, которая выглядит правдоподобно, но является фактически неверной или выдуманной.
LLM
Большая языковая модель (LLM) — нейронная сеть с миллиардами параметров, обученная на огромных текстовых корпусах для понимания и генерации естественного языка.
Token
Токен — минимальная единица текста, обрабатываемая языковой моделью; обычно это слово, часть слова или символ.
Image-to-Image
Image-to-Image (img2img) — генерация нового изображения на основе входного с учётом текстового промпта и степени изменения.
Mistral
Mistral AI — французская компания, создающая высокоэффективные open-source языковые модели, конкурирующие с закрытыми решениями.