Perplexity (метрика)
Определение
Perplexity — метрика качества языковой модели, показывающая, насколько модель "удивлена" тестовыми данными. Чем ниже perplexity, тем лучше модель.
Простое объяснение
Perplexity — как оценка предсказуемости текста для модели. Если вы легко угадываете следующее слово в песне — perplexity низкая. Если текст полон неожиданностей — высокая.
Подробнее
Связанные термины
Датасет
Датасет — набор данных, используемый для обучения, валидации и тестирования AI-моделей.
Data Labeling
Data Labeling — процесс разметки данных людьми для создания обучающих выборок для supervised learning моделей.
Управление данными
Управление данными (Data Management) — процессы сбора, хранения, обработки и защиты данных, критичные для работы AI-систем.
Named Entity Recognition
Named Entity Recognition (NER) — извлечение из текста именованных сущностей: людей, организаций, мест, дат, сумм и других.