T

Top-p / Top-k

Также известен как: Nucleus Sampling, Топ-п, Топ-к
Основы AI

Определение

Top-p и Top-k — методы семплирования, ограничивающие выбор следующего токена наиболее вероятными вариантами.

Простое объяснение

Top-p/Top-k — как фильтр идей: отсекает совсем маловероятные варианты, оставляя только разумные опции для выбора.

Подробнее

Top-k отбирает k самых вероятных токенов и нормализует их вероятности. Top-p (nucleus sampling) отбирает минимальный набор токенов, суммарная вероятность которых >= p. Top-p адаптивен: для уверенных предсказаний выбор узкий, для неоднозначных — широкий. Типичные значения: top_p=0.9-0.95, top_k=40-100. Комбинация temperature + top_p даёт тонкий контроль над генерацией. Top-p часто предпочтительнее top-k благодаря адаптивности.

Связанные термины

Chain-of-Thought

Chain-of-Thought (CoT) — техника промптинга, побуждающая модель рассуждать пошагово перед выдачей финального ответа.

Искусственный интеллект

Область информатики, занимающаяся созданием систем, способных выполнять задачи, требующие человеческого интеллекта.

AI (Artificial Intelligence)

Искусственный интеллект — область компьютерных наук, занимающаяся созданием систем, способных выполнять задачи, требующие человеческого интеллекта.

Человеко-машинное взаимодействие

HCI (Human-Computer Interaction) — область изучения и проектирования интерфейсов взаимодействия между людьми и AI-системами.

Алгоритм

Алгоритм — чёткая последовательность шагов для решения задачи, основа любой компьютерной программы и AI-системы.

Оптимизация

Оптимизация — процесс улучшения системы, модели или процесса для достижения лучших результатов при заданных ограничениях.