reymer.ai
O

Ollama

Также известен как: Оллама
Инструменты

Определение

Ollama — инструмент для простого локального запуска больших языковых моделей одной командой, с поддержкой популярных моделей и API, совместимым с OpenAI.

Простое объяснение

Ollama — как Docker, но для AI-моделей. Одна команда — и модель работает. Не нужно разбираться в зависимостях, конфигурациях и драйверах.

Подробнее

Ollama максимально упрощает запуск LLM локально: одна команда ollama run llama2 скачивает и запускает модель. Поддерживает модели LLaMA, Mistral, Mixtral, CodeLlama, Phi и другие. Предоставляет REST API, совместимый с OpenAI, что позволяет использовать существующие приложения. Автоматически определяет доступные ресурсы (CPU/GPU) и оптимизирует загрузку. Идеален для разработки, тестирования и приватного использования LLM.

Связанные термины

GPU

Graphics Processing Unit — специализированный процессор, изначально созданный для графики, но оказавшийся идеальным для обучения нейросетей благодаря способности выполнять тысячи параллельных вычислений.

AI Coding Assistant

AI Coding Assistant — инструмент на базе LLM, помогающий программистам писать, отлаживать и объяснять код.

TPU

TPU (Tensor Processing Unit) — специализированный AI-ускоритель, разработанный Google для обучения и inference нейронных сетей.

LangChain

LangChain — популярный open-source фреймворк для создания приложений на базе LLM, предоставляющий абстракции для chains, agents, RAG и memory.

Latency

Латентность — время задержки между отправкой запроса к AI-системе и получением ответа, критичный показатель для пользовательского опыта.

Safetensors

Safetensors — безопасный формат хранения тензоров (весов нейросетей), защищённый от выполнения произвольного кода при загрузке.

Вернуться к глоссарию