Компания Thinking Machines представила открытую мультимодальную модель Inkling. С почти триллионом параметров она задает новый масштаб для открытых исследований в области ИИ.
2 мин
Сегодня мы наблюдаем важное событие в сфере открытого искусственного интеллекта. На платформе Hugging Face появилась новая модель под названием Inkling от команды Thinking Machines. Главная особенность этого релиза — масштаб. Это мультимодальная архитектура, работающая со связкой «изображение-текст-текст», размер которой составляет внушительные 952 миллиарда параметров.
Появление модели такого размера в открытом доступе — это серьезный шаг. До недавнего времени модели, приближающиеся к отметке в один триллион параметров, оставались прерогативой закрытых лабораторий с огромными бюджетами. Миссия Thinking Machines, заявленная как демократизация ИИ через открытый исходный код и открытую науку (open science), начинает обретать реальные очертания.
Контекст этого события кроется в постепенном стирании границ между проприетарными и открытыми технологиями. Исторически разработчики открытых моделей (open-source) фокусировались на компактных решениях — от 7 до 70 миллиардов параметров, которые можно запустить на потребительском оборудовании. Выпуск модели на 952 миллиарда параметров переносит фокус на исследовательские институты и крупные компании, которые имеют доступ к вычислительным кластерам, но не хотят зависеть от закрытых API (программных интерфейсов).
Технически Inkling классифицируется как модель Image-Text-to-Text. Это означает, что она способна принимать на вход как визуальную, так и текстовую информацию, обрабатывать их совместно и генерировать текстовый ответ. Мультимодальность становится стандартом индустрии, так как позволяет системам лучше понимать контекст реального мира, который редко состоит только из текста.
Размер в 952 миллиарда параметров указывает на использование архитектуры смеси экспертов (Mixture of Experts, MoE) или же на невероятно плотную нейронную сеть. В любом случае, для запуска такой модели потребуются десятки мощных графических процессоров (GPU) с сотнями гигабайт видеопамяти. Это создает интересный парадокс: модель открыта для всех, но аппаратно доступна лишь немногим.
Что это означает для индустрии? Во-первых, исследователи получают доступ к весам модели масштаба GPT-4 для изучения внутренних механизмов работы больших нейросетей. Во-вторых, это стимулирует развитие методов квантования и оптимизации. Сообщество неизбежно начнет искать способы ужать эту модель, чтобы сделать ее пригодной для запуска на более скромном оборудовании.
В перспективе мы увидим больше подобных релизов. Открытая наука в области ИИ доказывает, что может конкурировать по масштабам с коммерческими гигантами. Время покажет, насколько эффективной окажется архитектура Inkling на практике, но сам факт публикации модели такого размера задает новую планку для всего сообщества исследователей.
Thinking Machines выпустила открытую мультимодальную модель Inkling размером почти в триллион параметров, что расширяет границы доступных для исследователей технологий.
Несмотря на открытый исходный код, колоссальный размер модели создает высокий аппаратный барьер, делая ее доступной преимущественно для крупных исследовательских центров, а не для рядовых разработчиков.
