Tokenizer
Определение
Tokenizer — компонент, преобразующий текст в последовательность токенов (чисел), которые понимает языковая модель.
Простое объяснение
Tokenizer — как переводчик человеческого языка в язык цифр, который понимает AI. Разбивает текст на кусочки и присваивает каждому номер.
Подробнее
Связанные термины
Паттерн
Повторяющийся шаблон или закономерность в данных, которую AI-модели учатся распознавать и использовать для предсказаний.
Chain-of-Thought
Chain-of-Thought (CoT) — техника промптинга, побуждающая модель рассуждать пошагово перед выдачей финального ответа.
Top-p / Top-k
Top-p и Top-k — методы семплирования, ограничивающие выбор следующего токена наиболее вероятными вариантами.
Человеко-машинное взаимодействие
HCI (Human-Computer Interaction) — область изучения и проектирования интерфейсов взаимодействия между людьми и AI-системами.
