Шкалирование
Определение
Шкалирование (масштабирование) — увеличение мощности AI-системы для обработки большего объёма запросов и данных.
Простое объяснение
Это когда систему увеличивают, чтобы она могла обслуживать больше пользователей — как расширить ресторан для большего числа гостей.
Подробнее
Типы масштабирования:
- Вертикальное — более мощный сервер
- Горизонтальное — больше серверов
- Auto-scaling — автоматическое по нагрузке
Для AI важно: GPU-кластеры, distributed training, model parallelism.
Связанные термины
Safetensors
Safetensors — безопасный формат хранения тензоров (весов нейросетей), защищённый от выполнения произвольного кода при загрузке.
LangChain
LangChain — популярный open-source фреймворк для создания приложений на базе LLM, предоставляющий абстракции для chains, agents, RAG и memory.
Ollama
Ollama — инструмент для простого локального запуска больших языковых моделей одной командой, с поддержкой популярных моделей и API, совместимым с OpenAI.
Виртуальный ассистент
Виртуальный ассистент — AI-программа для автоматизации задач и помощи пользователям через текстовый или голосовой интерфейс.