Latent Space
Определение
Latent Space — многомерное пространство скрытых представлений, где нейросеть кодирует семантику данных.
Простое объяснение
Latent Space — как карта смыслов в голове AI. Похожие вещи расположены рядом, и можно "путешествовать" между концепциями.
Подробнее
Связанные термины
FlashAttention
FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.
PEFT
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
Few-shot Learning
Few-shot Learning — способность модели выполнять новую задачу, увидев лишь несколько примеров в промпте без дополнительного обучения.