Attention Mechanism
Определение
Механизм внимания — фундаментальный компонент современных нейросетей, позволяющий модели динамически фокусироваться на релевантных частях входных данных.
Простое объяснение
Механизм внимания работает как ваш мозг при чтении: когда вы отвечаете на вопрос о тексте, вы не перечитываете всё заново, а фокусируетесь на ключевых местах, которые относятся к вопросу.
Подробнее
Связанные термины
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.
Computer Vision
Компьютерное зрение — область AI, которая обучает машины «видеть» и понимать визуальную информацию: изображения и видео.
KV Cache
KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.
DPO
Direct Preference Optimization — упрощённая альтернатива RLHF, которая напрямую оптимизирует модель на данных предпочтений без необходимости отдельной reward model.