Kubernetes
Определение
Kubernetes (K8s) — платформа оркестрации контейнеров, ставшая стандартом для развёртывания и масштабирования ML-инфраструктуры.
Простое объяснение
Это как умный диспетчер, который управляет множеством программ и распределяет ресурсы компьютеров, чтобы AI работал стабильно.
Подробнее
K8s для ML/AI:
- Kubeflow — ML-пайплайны
- Автоскейлинг — под нагрузку инференса
- GPU scheduling — распределение GPU
- Model serving — KServe, Seldon
Используется крупными AI-компаниями для production ML.
Связанные термины
Ollama
Ollama — инструмент для простого локального запуска больших языковых моделей одной командой, с поддержкой популярных моделей и API, совместимым с OpenAI.
Чат-бот
Чат-бот — программа для автоматизации общения с пользователями через текстовые сообщения, часто с использованием NLP и LLM.
vLLM
vLLM — высокопроизводительная библиотека для inference больших языковых моделей, использующая PagedAttention для эффективного управления памятью GPU.
ElevenLabs
ElevenLabs — платформа для синтеза речи и клонирования голоса с помощью AI, создающая наиболее реалистичное звучание.