今年的全民健身日,我们使用 ComfyUI 让十款甜品、饮料开始了自己的“运动表演”。这套开源工作流的本质是对运动视频进行抠像后,再根据物体形态、场景两种参考图对抠像视频进行视频转绘。在全国生态日,我们使用开源技术 Liveportrait,把人的面部表情“移植”到了小动物身上,完成了一次野生动物的“街头采访”。 为了画面的可控性,我们选择了“文生图——图生视频”的思路:增加一个中间环节,以确保最终画面的调性。如果需要控制角色,这种思路也可能效果更好。首先,我们借助目前 stable diffusion 里面超强的图像生成模型——Flux,通过输入提示词和提供参考图生成理想的电影感画面。详情