FlashAttention
Определение
FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.
Простое объяснение
FlashAttention — как умное чтение большой книги. Вместо того чтобы разложить все страницы на огромном столе, вы читаете по главам, держа в руках только текущую.
Подробнее
Связанные термины
Модель
Модель в ML — обученный алгоритм, который принимает входные данные и выдаёт предсказания или генерирует результат.
Fine-tuning
Дообучение — процесс адаптации предобученной AI-модели к конкретной задаче или домену путём дополнительного обучения на специализированных данных.
Нейронная сеть
Вычислительная система, вдохновлённая биологическими нейронными сетями мозга, состоящая из слоёв искусственных нейронов.
Фича
Фича (признак, feature) — входной параметр или характеристика данных, используемая ML-моделью для обучения и предсказаний.