Интеграция FLUX.3 Image Klein в Diffusers: новые инструменты управления компоновкой

Компания Black Forest Labs представила новую открытую модель для генерации изображений — FLUX.3 Image Klein. Согласно публикации от 15 октября 2026 года, модель с первого дня доступна в библиотеке Diffusers. Главная особенность релиза заключается в том, что одна модель объединяет сразу несколько функций: преобразование текста в изображение, редактирование на основе нескольких референсных изображений и новый механизм управления компоновкой.

Долгое время одной из главных проблем генеративных моделей оставалась сложность точного позиционирования объектов. Пользователям приходилось полагаться на случайность или использовать сложные сторонние надстройки. FLUX.3 решает эту задачу на базовом уровне, позволяя задавать точные координаты для каждого элемента сцены.

Разработчики реализовали управление компоновкой через ограничивающие рамки (bounding boxes). Пользователь может добавить в текстовый запрос список регионов в формате JSON. Каждый регион содержит идентификатор, описание и координаты в формате [y_min, x_min, y_max, x_max]. Шкала координат нормализована от 0 до 1000, что позволяет использовать одни и те же параметры для изображений любого размера.

Этот же механизм работает и для редактирования существующих изображений. Указывая исходные координаты (src_bbox) и целевые координаты (tgt_bbox), можно перемещать отдельные объекты на референсном изображении, оставляя остальные элементы нетронутыми.

FLUX.3 Image Klein поставляется в виде модульного конвейера (Modular Diffusers pipeline), что позволяет разработчикам легко заменять отдельные блоки или добавлять собственные. В коллекции представлены два основных чекпоинта:

Во-первых, дистиллированная версия. Она оптимизирована для быстрого вывода: генерация изображения размером 1024 × 1024 пикселей занимает около 2 секунд на ускорителе H100. Процесс требует всего 16 шагов и работает без использования classifier-free guidance (CFG).

Во-вторых, базовая модель. Она требует 50 шагов, использует CFG и предназначена в первую очередь для тонкой настройки. Для обеих задач — генерации и редактирования — в Diffusers уже доступны скрипты для обучения LoRA.

Для запуска на менее мощных графических процессорах (GPU) Black Forest Labs предлагает квантованные форматы весов: fp8r (для архитектур Ada, Hopper, Blackwell) и nvfp4 (для Blackwell). Они загружаются в виде одного файла, что позволяет снизить требования к памяти при сохранении вычислительной точности.

Добавление прямого контроля над координатами объектов внутри единой модели — это важный шаг в развитии открытого программного обеспечения для работы с искусственным интеллектом. Это стирает границу между простой генерацией картинок и профессиональными инструментами дизайна, где важна предсказуемость результата.

Тот факт, что сложные пространственные трансформации теперь доступны «из коробки» и работают через стандартизированные JSON-запросы, значительно упростит интеграцию генеративных функций в прикладные интерфейсы и графические редакторы.