Self-Attention
Определение
Самовнимание — разновидность attention, где каждый элемент последовательности сравнивается со всеми остальными элементами той же последовательности.
Простое объяснение
Self-attention — это как групповая дискуссия, где каждый участник слушает всех остальных и решает, кто говорит наиболее релевантные для него вещи.
Подробнее
Связанные термины
Фича
Фича (признак, feature) — входной параметр или характеристика данных, используемая ML-моделью для обучения и предсказаний.
Attention Mechanism
Механизм внимания — фундаментальный компонент современных нейросетей, позволяющий модели динамически фокусироваться на релевантных частях входных данных.
Deep Learning
Глубокое обучение — подраздел машинного обучения, использующий многослойные нейронные сети для обработки сложных данных и выявления абстрактных паттернов.
Adapter
Адаптер — небольшой обучаемый модуль, встраиваемый между слоями предобученной модели для её адаптации под новые задачи без изменения основных весов.