reymer.ai
V

vLLM

Также известен как: Virtual LLM
Инструменты

Определение

vLLM — высокопроизводительная библиотека для inference больших языковых моделей, использующая PagedAttention для эффективного управления памятью GPU.

Простое объяснение

vLLM — как умный официант в ресторане, который оптимально распределяет заказы между поварами и не заставляет одних клиентов ждать, пока готовится сложное блюдо для других.

Подробнее

vLLM решает главную проблему LLM inference — неэффективное использование памяти GPU из-за динамического размера KV cache. PagedAttention разбивает KV cache на блоки фиксированного размера и управляет ими как страницами виртуальной памяти. Это даёт 2-24x рост пропускной способности по сравнению с HuggingFace Transformers. vLLM поддерживает continuous batching, tensor parallelism и служит бэкендом для многих production deployment.

Связанные термины

TPU

TPU (Tensor Processing Unit) — специализированный AI-ускоритель, разработанный Google для обучения и inference нейронных сетей.

Шкалирование

Шкалирование (масштабирование) — увеличение мощности AI-системы для обработки большего объёма запросов и данных.

GPU

Graphics Processing Unit — специализированный процессор, изначально созданный для графики, но оказавшийся идеальным для обучения нейросетей благодаря способности выполнять тысячи параллельных вычислений.

GGUF

GGUF (GPT-Generated Unified Format) — формат файлов для хранения квантизированных языковых моделей, оптимизированный для локального запуска через llama.cpp.

LangChain

LangChain — популярный open-source фреймворк для создания приложений на базе LLM, предоставляющий абстракции для chains, agents, RAG и memory.

Latency

Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.

Вернуться к глоссарию