NLP
Определение
Обработка естественного языка (NLP) — область AI, занимающаяся взаимодействием компьютеров с человеческим языком: понимание, генерация, перевод.
Простое объяснение
Это наука о том, как научить компьютер понимать человеческий язык — читать, писать и переводить тексты.
Подробнее
Задачи NLP:
- Классификация текста — определение тональности, темы
- NER — выделение именованных сущностей
- Машинный перевод — перевод между языками
- Генерация текста — LLM
- Question Answering — ответы на вопросы
Связанные термины
Fine-tuning
Дообучение — процесс адаптации предобученной AI-модели к конкретной задаче или домену путём дополнительного обучения на специализированных данных.
RLHF
Reinforcement Learning from Human Feedback — метод обучения AI-моделей на основе человеческих предпочтений, используемый для выравнивания поведения модели с человеческими ценностями.
KV Cache
KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.
Attention Mechanism
Механизм внимания — фундаментальный компонент современных нейросетей, позволяющий модели динамически фокусироваться на релевантных частях входных данных.