Thinking Machines выложила Inkling: открытая мультимодальная модель почти на триллион параметров

Thinking Machines выложила на Hugging Face свою модель Inkling. Это открытая мультимодальная модель на 975 млрд параметров: она принимает текст, изображения и звук и держит контекст до 1 млн токенов. По словам Hugging Face, это первая открытая модель такого масштаба, которая нативно понимает все три типа данных.

Как устроена

Inkling — смесь экспертов (Mixture of Experts, MoE). Из 975 млрд параметров на каждый токен работают 41 млрд: в каждом слое 256 экспертов, маршрутизатор выбирает шесть из них, ещё два общих эксперта активны всегда. Обучали модель на 45 трлн токенов текста, изображений, аудио и видео.

Вместо привычного позиционного кодирования RoPE модель использует относительное внимание. Слои чередуют внимание со скользящим окном и глобальное в пропорции 5:1, так длинный контекст обходится дешевле. Изображения и звук проходят через простые встроенные модули, а не через отдельные предобученные энкодеры: картинка режется на патчи, звук — на фрагменты по 100 мс.

Что нужно для запуска

Модель большая. Полной версии в BF16 нужно около 2 ТБ видеопамяти, квантованной NVFP4 — около 600 ГБ. Поддержка с первого дня есть в transformers, SGLang, vLLM и llama.cpp, а встроенные слои MTP ускоряют генерацию.

Без кластера модель можно попробовать через Inference Providers на Hugging Face или локально: Unsloth сжал её до 1-битных весов, это экономит 95% видеопамяти, но часть качества теряется. Позже Thinking Machines выпустила Inkling-Small — 276 млрд параметров, из них 12 млрд активных.

Зачем она нужна

Thinking Machines рассчитывает, что Inkling будут дообучать под конкретные задачи: рассуждения по тексту, картинкам и звуку, агентные сценарии. Видео модель формально принимает, но его качество в Hugging Face пока не проверяли. Звук в Inference Providers на момент выхода ещё не поддерживался.