Embedding
Определение
Эмбеддинг — представление данных (текста, изображений, аудио) в виде числовых векторов, где семантически близкие объекты располагаются рядом в векторном пространстве.
Простое объяснение
Это способ превратить слова в числа так, чтобы похожие по смыслу слова были рядом. Как если бы «кошка» и «котёнок» стояли близко на числовой линейке.
Подробнее
Эмбеддинги — основа современного AI:
- Word embeddings — Word2Vec, GloVe
- Sentence embeddings — для семантического поиска
- Image embeddings — CLIP, для поиска по изображениям
Применение: RAG-системы, рекомендации, кластеризация, поиск похожих документов.
Связанные термины
Фича
Фича (признак, feature) — входной параметр или характеристика данных, используемая ML-моделью для обучения и предсказаний.
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.
Attention Mechanism
Механизм внимания — фундаментальный компонент современных нейросетей, позволяющий модели динамически фокусироваться на релевантных частях входных данных.
LoRA
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.