Attention Mechanism
Определение
Механизм внимания — фундаментальный компонент современных нейросетей, позволяющий модели динамически фокусироваться на релевантных частях входных данных.
Простое объяснение
Механизм внимания работает как ваш мозг при чтении: когда вы отвечаете на вопрос о тексте, вы не перечитываете всё заново, а фокусируетесь на ключевых местах, которые относятся к вопросу.
Подробнее
Связанные термины
Transformer
Трансформер — архитектура нейронной сети с механизмом внимания (attention), ставшая основой современных языковых моделей и генеративного AI.
RLHF
Reinforcement Learning from Human Feedback — метод обучения AI-моделей на основе человеческих предпочтений, используемый для выравнивания поведения модели с человеческими ценностями.
Neural Network
Нейронная сеть — вычислительная система, вдохновлённая структурой мозга, состоящая из связанных узлов (нейронов), обрабатывающих информацию слоями.
Zero-shot Learning
Zero-shot обучение — способность AI выполнять задачи, на которых модель не обучалась напрямую, используя общие знания и инструкции.