ControlNet

ControlNet решает проблему контроля в диффузионных моделях. К Stable Diffusion добавляется trainable copy encoder, которая принимает conditioning image (например, карту глубины или скелет позы) и влияет на генерацию. Можно генерировать изображения с точной позой человека, сохранять композицию при изменении стиля, использовать скетч как основу. Множество предобученных ControlNet: canny edge, openpose, depth, scribble. Революционизировал профессиональное использование генерации изображений.