T
Top-p / Top-k
Также известен как: Nucleus Sampling, Топ-п, Топ-к
Основы AIОпределение
Top-p и Top-k — методы семплирования, ограничивающие выбор следующего токена наиболее вероятными вариантами.
Простое объяснение
Top-p/Top-k — как фильтр идей: отсекает совсем маловероятные варианты, оставляя только разумные опции для выбора.
Подробнее
Top-k отбирает k самых вероятных токенов и нормализует их вероятности. Top-p (nucleus sampling) отбирает минимальный набор токенов, суммарная вероятность которых >= p. Top-p адаптивен: для уверенных предсказаний выбор узкий, для неоднозначных — широкий. Типичные значения: top_p=0.9-0.95, top_k=40-100. Комбинация temperature + top_p даёт тонкий контроль над генерацией. Top-p часто предпочтительнее top-k благодаря адаптивности.
Связанные термины
Tokenizer
Tokenizer — компонент, преобразующий текст в последовательность токенов (чисел), которые понимает языковая модель.
Chain-of-Thought
Chain-of-Thought (CoT) — техника промптинга, побуждающая модель рассуждать пошагово перед выдачей финального ответа.
System Prompt
System Prompt — специальная инструкция, задающая поведение, роль и ограничения AI-модели на протяжении всего диалога.
Temperature
Temperature — параметр, контролирующий случайность в генерации текста: низкая температура даёт предсказуемые ответы, высокая — креативные.