Transformer
Определение
Трансформер — архитектура нейронной сети с механизмом внимания (attention), ставшая основой современных языковых моделей и генеративного AI.
Простое объяснение
Это особая конструкция AI, которая умеет смотреть на весь текст сразу и понимать связи между словами, даже если они далеко друг от друга.
Подробнее
Ключевые элементы трансформера:
- Self-attention — связь между всеми токенами
- Multi-head attention — несколько потоков внимания
- Positional encoding — учёт позиции токенов
- Feed-forward — обработка каждого токена
Статья «Attention Is All You Need» (2017) — начало эры LLM.
Связанные термины
Machine Learning
Машинное обучение — область AI, в которой алгоритмы обучаются на данных, выявляя закономерности и делая предсказания без явного программирования правил.
Reinforcement Learning
Обучение с подкреплением — метод машинного обучения, при котором агент учится принимать решения, получая награды или штрафы за свои действия.
MoE
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
Машинное обучение
Подраздел AI, где алгоритмы учатся на данных и улучшают свои результаты без явного программирования.