Perplexity (метрика)

Perplexity вычисляется как экспонента средней кросс-энтропии: PPL = exp(-1/N × Σ log P(token_i)). Интуитивно это среднее количество равновероятных вариантов следующего токена. Если PPL=10, модель в среднем "выбирает" из 10 вариантов. Хорошие LLM на английском тексте достигают PPL < 10. Perplexity полезна для сравнения моделей на одном датасете, но не отражает качество генерации или следования инструкциям.