Token
Определение
Токен — минимальная единица текста, обрабатываемая языковой моделью; обычно это слово, часть слова или символ.
Простое объяснение
Токен — это кусочек текста, который AI видит как одну единицу. Слово «привет» может быть одним токеном, а длинное слово — несколькими.
Подробнее
Факты о токенах:
- 1 токен ≈ 4 символа английского текста
- 1 токен ≈ 1-2 символа русского текста
- Контекстное окно измеряется в токенах
- Стоимость API считается по токенам
Токенизаторы: BPE (GPT), SentencePiece (LLaMA).
Связанные термины
Inpainting
Inpainting — техника заполнения выделенных областей изображения новым контентом, сгенерированным AI с учётом контекста.
Multimodal
Multimodal — способность AI-системы обрабатывать и генерировать данные разных типов: текст, изображения, аудио, видео.
Generative AI
Генеративный AI — системы искусственного интеллекта, способные создавать новый контент: тексты, изображения, музыку, видео, код.
GAN
Generative Adversarial Network — архитектура из двух конкурирующих нейросетей: генератора, создающего данные, и дискриминатора, отличающего реальные данные от сгенерированных.