Self-Attention
Определение
Самовнимание — разновидность attention, где каждый элемент последовательности сравнивается со всеми остальными элементами той же последовательности.
Простое объяснение
Self-attention — это как групповая дискуссия, где каждый участник слушает всех остальных и решает, кто говорит наиболее релевантные для него вещи.
Подробнее
Связанные термины
KV Cache
KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.
VAE
Variational Autoencoder — генеративная модель, которая учится кодировать данные в компактное латентное пространство и декодировать обратно, используя вероятностный подход.
Deep Learning
Глубокое обучение — подраздел машинного обучения, использующий многослойные нейронные сети для обработки сложных данных и выявления абстрактных паттернов.
Few-shot Learning
Few-shot Learning — способность модели выполнять новую задачу, увидев лишь несколько примеров в промпте без дополнительного обучения.