NLP
Определение
Обработка естественного языка (NLP) — область AI, занимающаяся взаимодействием компьютеров с человеческим языком: понимание, генерация, перевод.
Простое объяснение
Это наука о том, как научить компьютер понимать человеческий язык — читать, писать и переводить тексты.
Подробнее
Задачи NLP:
- Классификация текста — определение тональности, темы
- NER — выделение именованных сущностей
- Машинный перевод — перевод между языками
- Генерация текста — LLM
- Question Answering — ответы на вопросы
Связанные термины
Adapter
Адаптер — небольшой обучаемый модуль, встраиваемый между слоями предобученной модели для её адаптации под новые задачи без изменения основных весов.
DPO
Direct Preference Optimization — упрощённая альтернатива RLHF, которая напрямую оптимизирует модель на данных предпочтений без необходимости отдельной reward model.
Reinforcement Learning
Обучение с подкреплением — метод машинного обучения, при котором агент учится принимать решения, получая награды или штрафы за свои действия.
FlashAttention
FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.