Safetensors
Определение
Safetensors — безопасный формат хранения тензоров (весов нейросетей), защищённый от выполнения произвольного кода при загрузке.
Простое объяснение
Safetensors — как безопасная упаковка для лекарств. Pickle — это конверт, в который можно положить что угодно, включая вирус. Safetensors — это блистер, куда физически помещаются только таблетки.
Подробнее
Связанные термины
vLLM
vLLM — высокопроизводительная библиотека для inference больших языковых моделей, использующая PagedAttention для эффективного управления памятью GPU.
MLOps
MLOps — практики и инструменты для управления жизненным циклом ML-моделей: от разработки до deployment и мониторинга в production.
TPU
TPU (Tensor Processing Unit) — специализированный AI-ускоритель, разработанный Google для обучения и inference нейронных сетей.
OpenAI
OpenAI — американская AI-компания, создатель ChatGPT, GPT-4, DALL-E и других прорывных AI-систем, лидер индустрии генеративного AI.