Kubernetes
Определение
Kubernetes (K8s) — платформа оркестрации контейнеров, ставшая стандартом для развёртывания и масштабирования ML-инфраструктуры.
Простое объяснение
Это как умный диспетчер, который управляет множеством программ и распределяет ресурсы компьютеров, чтобы AI работал стабильно.
Подробнее
K8s для ML/AI:
- Kubeflow — ML-пайплайны
- Автоскейлинг — под нагрузку инференса
- GPU scheduling — распределение GPU
- Model serving — KServe, Seldon
Используется крупными AI-компаниями для production ML.
Связанные термины
Safetensors
Safetensors — безопасный формат хранения тензоров (весов нейросетей), защищённый от выполнения произвольного кода при загрузке.
MLOps
MLOps — практики и инструменты для управления жизненным циклом ML-моделей: от разработки до deployment и мониторинга в production.
Шкалирование
Шкалирование (масштабирование) — увеличение мощности AI-системы для обработки большего объёма запросов и данных.
Latency
Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.