Token
Определение
Токен — минимальная единица текста, обрабатываемая языковой моделью; обычно это слово, часть слова или символ.
Простое объяснение
Токен — это кусочек текста, который AI видит как одну единицу. Слово «привет» может быть одним токеном, а длинное слово — несколькими.
Подробнее
Факты о токенах:
- 1 токен ≈ 4 символа английского текста
- 1 токен ≈ 1-2 символа русского текста
- Контекстное окно измеряется в токенах
- Стоимость API считается по токенам
Токенизаторы: BPE (GPT), SentencePiece (LLaMA).
Связанные термины
LLaMA
LLaMA (Large Language Model Meta AI) — семейство открытых языковых моделей от Meta, ставшее основой для множества производных моделей.
Mistral
Mistral AI — французская компания, создающая высокоэффективные open-source языковые модели, конкурирующие с закрытыми решениями.
Gemini
Gemini — мультимодальное семейство AI-моделей от Google DeepMind, объединяющее понимание текста, изображений, аудио и видео.
Запрос
Запрос (промпт) — текстовая инструкция или вопрос, отправляемый пользователем языковой модели для получения ответа.