Шкалирование
Определение
Шкалирование (масштабирование) — увеличение мощности AI-системы для обработки большего объёма запросов и данных.
Простое объяснение
Это когда систему увеличивают, чтобы она могла обслуживать больше пользователей — как расширить ресторан для большего числа гостей.
Подробнее
Типы масштабирования:
- Вертикальное — более мощный сервер
- Горизонтальное — больше серверов
- Auto-scaling — автоматическое по нагрузке
Для AI важно: GPU-кластеры, distributed training, model parallelism.
Связанные термины
Kubernetes
Kubernetes (K8s) — платформа оркестрации контейнеров, ставшая стандартом для развёртывания и масштабирования ML-инфраструктуры.
Vector Database
Векторная база данных — специализированное хранилище для эмбеддингов, оптимизированное для семантического поиска по сходству векторов.
GPU
Graphics Processing Unit — специализированный процессор, изначально созданный для графики, но оказавшийся идеальным для обучения нейросетей благодаря способности выполнять тысячи параллельных вычислений.
LangChain
LangChain — популярный open-source фреймворк для создания приложений на базе LLM, предоставляющий абстракции для chains, agents, RAG и memory.