reymer.ai
P

Perplexity (метрика)

Также известен как: Перплексия, PPL
Данные и аналитика

Определение

Perplexity — метрика качества языковой модели, показывающая, насколько модель "удивлена" тестовыми данными. Чем ниже perplexity, тем лучше модель.

Простое объяснение

Perplexity — как оценка предсказуемости текста для модели. Если вы легко угадываете следующее слово в песне — perplexity низкая. Если текст полон неожиданностей — высокая.

Подробнее

Perplexity вычисляется как экспонента средней кросс-энтропии: PPL = exp(-1/N × Σ log P(token_i)). Интуитивно это среднее количество равновероятных вариантов следующего токена. Если PPL=10, модель в среднем "выбирает" из 10 вариантов. Хорошие LLM на английском тексте достигают PPL < 10. Perplexity полезна для сравнения моделей на одном датасете, но не отражает качество генерации или следования инструкциям.

Связанные термины

Хранилище данных

Хранилище данных (Data Warehouse) — централизованная система для хранения и анализа больших объёмов структурированных данных для бизнес-аналитики и AI.

MMLU

MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.

Датасет

Датасет — набор данных, используемый для обучения, валидации и тестирования AI-моделей.

Semantic Segmentation

Semantic Segmentation — классификация каждого пикселя изображения по принадлежности к семантическому классу.

Leaderboard

Leaderboard — таблица рейтингов AI-моделей по результатам стандартизированных бенчмарков, позволяющая сравнивать их производительность.

Big Data

Большие данные — массивы информации огромного объёма, которые невозможно обработать традиционными методами, но которые служат основой для обучения AI-моделей.

Вернуться к глоссарию