Self-Attention
Определение
Самовнимание — разновидность attention, где каждый элемент последовательности сравнивается со всеми остальными элементами той же последовательности.
Простое объяснение
Self-attention — это как групповая дискуссия, где каждый участник слушает всех остальных и решает, кто говорит наиболее релевантные для него вещи.
Подробнее
Связанные термины
Unsupervised Learning
Обучение без учителя — тип машинного обучения, при котором модель находит скрытые паттерны в данных без предварительной разметки.
PEFT
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
Latent Space
Latent Space — многомерное пространство скрытых представлений, где нейросеть кодирует семантику данных.
FlashAttention
FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.