reymer.ai
S

Self-Attention

Также известен как: Самовнимание, Intra-Attention
Машинное обучение

Определение

Самовнимание — разновидность attention, где каждый элемент последовательности сравнивается со всеми остальными элементами той же последовательности.

Простое объяснение

Self-attention — это как групповая дискуссия, где каждый участник слушает всех остальных и решает, кто говорит наиболее релевантные для него вещи.

Подробнее

Self-Attention позволяет каждому токену в последовательности "видеть" все остальные токены и определять их релевантность. В предложении "The animal didn''t cross the street because it was too tired" self-attention помогает модели понять, что "it" относится к "animal", а не к "street". Multi-Head Self-Attention параллельно вычисляет несколько таких паттернов внимания, улавливая различные типы связей.

Связанные термины

Нейронная сеть

Вычислительная система, вдохновлённая биологическими нейронными сетями мозга, состоящая из слоёв искусственных нейронов.

VAE

Variational Autoencoder — генеративная модель, которая учится кодировать данные в компактное латентное пространство и декодировать обратно, используя вероятностный подход.

Quantization

Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.

NLP

Обработка естественного языка (NLP) — область AI, занимающаяся взаимодействием компьютеров с человеческим языком: понимание, генерация, перевод.

FlashAttention

FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.

LoRA

Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.

Вернуться к глоссарию