本文提出了一种简单有效的方法来实现不同扩散模型之间的合作。

近一两年，扩散模型 (diffusion models) 展现出了强大的生成能力。不同种类的扩散模型性能各异 —— text-to-image 模型可以根据文字生成图片，mask-to-image 模型可以从分割图生成图片，除此之外还有更多种类的扩散模型，例如生成视频、3D、motion 等等。

假如有一种方法让这些 pre-trained 的扩散模型合作起来，发挥各自的专长，那么我们就可以得到一个多功能的生成框架。比如当 text-to-image 模型与 mask-to-image 模型合作时，我们就可以同时接受 text 和 mask 输入，生成与 text 和 mask 一致的图片了。

CVPR 2023 的 Collaborative Diffusion 提供了一种简单有效的方法来实现不同扩散模型之间的合作。

从上图中我们可以观察到，在时间上，决定 mask-to-image 模型影响的 Influence Functions 在去噪初期很强（第一行左边），到后期逐渐变弱（第一行右边），这是因为扩散模型在去噪初期会首先形成图片内容的布局，到后期才会逐渐生成纹路和细节；而在多模态控制人脸生成时，图片的布局信息主要是由 mask 提供的，因此 mask 分支的 Influence Functions 会随着时间由强变弱。与之相对应地 text-to-image 模型的 Influence Functions（第二行）会随着时间由弱到强，因为 text 提供的多数信息是与细节纹路相关的，例如胡子的浓密程度，头发颜色，以及与年龄相关的皮肤皱纹，而扩散模型的去噪过程也是在后期才会逐步确定图片的纹理以及细节。

与此同时，在空间上，mask-to-image 模型的 Influence 在面部区域分界处更强，例如面部轮廓和头发的外边缘，因为这些地方对整体面部布局是至关重要的。text-to-image 模型的 Influence 则在面中，尤其是脸颊和胡子所在的区域较强，因为这些区域的纹理需要 text 提供的年龄，胡子等信息来填充。

Collaborative Diffusion 的通用性

Collaborative Diffusion 是一个通用框架，它不仅适用于图片生成，还可以让 text-based editing 和 mask-based editing 方法合作起来。我们利用在生成任务上训练的 Dynamic Diffusers 来预测 Influence Functions，并将其直接用到 editing 中。如下图所示：