论文阅读 [精读]-DENOISING DIFFUSION IMPLICIT MODELS

今天读了一篇编译，接下来回到老本行，来一篇 diffusion model。这篇工作很有名，有点碰瓷 DDPM 的意思，其中 “IMPLICIT” 的意思是隐含。和 DDPM 的 “probabilistic” 相比，意思是减少随机性，加速采样。作者自己在 AI Time 上有个报告，好挺好的。

宋佳铭 DDIM 报告

这篇工作和别的 diffusion model 工作一样，比较数学，很多推导我就不详细写了，可以从附录里看。

Introduction

大概意思就是：

• GAN 很好，但今年的 DDPM 也不差

21 年有一篇 OpenAI 的 BEAT GANS，用了 DDIM，关注度很高，意思就是 DDPM 真的比 GAN 好

• DDPM 的问题是慢
  • 在 CIFAR-10 做 32x32 要 20h
  • 在 CIFAR-10 做 256x256 要 1000h
• 本文解决这个问题，通过一个非马尔科夫的过程

Background

作者先讲了一般的 DDPM 是怎么搞的，这个叙述方式挺好的，讲讲重点

有一个公式： $$\begin{gathered} q(x_{1:T}|x_0):=\prod _{t=1}^{T}q(x_t|x_{t-1}) \\ q(x_t|x_{t-1}):=N(\sqrt{\frac{{\alpha }_t}{{\alpha }_{t-1}}}{x}_{t-1},(1-\frac{{\alpha }_t}{{\alpha }_{t-1}})I) \end{gathered}$$ 也就是说，正常的 DDPM 是一个马尔科夫过程，想要从 $X_0$ 得到后面，需要一步一步加噪声。这个噪声是一个高斯分布，其均值和 $X_{t-1}$ 有关，是 sample 出来的。

反向的公式是： $$q(x_{t-1}|x_t,x_0)=N(x_{t-1};{\mu }_t(x_t,x_0),\widehat{{\beta }_t}I),$$ 其中 $$\begin{gathered} \text{均值:}{\mu }_t(x_t,x_0)=\frac{\sqrt{\overline{{\alpha }_{t-1}}}{\beta }_t}{1-\overline{{\alpha }_t}}{x}_0+\frac{\sqrt{{\alpha }_t}(1-\overline{{\alpha }_{t-1}})}{1-\overline{{\alpha }_t}}{x}_t \\ \text{方差:}\widehat{{\beta }_t}=\frac{1-\overline{{\alpha }_{t-1}}}{1-\overline{{\alpha }_t}}{\beta }_t \end{gathered}$$

另一方面，由于这个高斯分布的传递性，我们可以把 $x_t$ 视为单位高斯分布和 $x_0$ 的线性叠加： $$x_t=\sqrt{{\hat{\alpha }}_t}{x}_0+\sqrt{1-{\hat{\alpha }}_t}ϵ,ϵ\sim N(0,I)$$ 我们在训练时我们想要让 $\log p_{\theta }(x_0)\to \log q(x_0)$，也就是说，我们想要优化： $$L_{t-1}=E_q[\frac{1}{2{\sigma }^2}||{\mu }_t(x_t,x_0)-{\mu }_{\theta }(x_t,t)|{|}^2]$$ 其中

• 左边是实际马尔科夫链对 $x_{t-1}$ 的估计，可计算

• 右边是我们的去噪模型 $\theta$ 对 $x_{t-1}$ 的估计，可计算

这里我们套入上面 $x_t$ 的公式，看做 $x_t,ϵ$ 的函数，进行一波化简，最终得到 $$L_{t-1}=C\ast \frac{1}{2{\sigma }^2}||ϵ-{\mu }_{\theta }(\sqrt{{\hat{\alpha }}_t}{x}_0+\sqrt{1-{\hat{\alpha }}_t},t)|{|}^2$$ 忽略常数 C，同时对所有的 L 进行优化： $$L_{\text{simple}}=\sum _{t=1}^T{L}_t$$ 就能学出 DDPM 模型了

VARIATIONAL INFERENCE FOR NON-MARKOVIAN FORWARD PROCESSES

上面全是 DDPM 的数学推导。接下来，作者讲了他的贡献。它发现：

• DDPM 中的 loss$L_{\lambda }$ 只依赖于 $q(x_t|x_0)$，和 $q(x_{1:T}|x_0)$ 无关。这样符合边缘分布的可能性有很多，作者选取了一个非马尔科夫的过程

$$\begin{gathered} q_{\sigma }(x_{1:T}|x_0):=q(x_T|x_0)\prod _{t=2}^T{q}_{\sigma }(x_{t-1}|x_t,x_0) \\ {q}_{\sigma }(x_{t-1}|x_t,x_0)=N(\sqrt{{\alpha }_{t-1}}{x}_0+\sqrt{1-{\alpha }_{t-1}-{\sigma }_t^2}\times \frac{x_t-\sqrt{{\alpha }_t}{x}_0}{\sqrt{1-{\alpha }_t}},{\sigma }_t^{2}I) \end{gathered}$$

接下来，对于 $x_0\sim q(x_0),{ϵ}_t\sim N(0,I)$ 我们可以获取其对应的 $X_t$，由 $$x_t=\sqrt{{\hat{\alpha }}_t}{x}_0+\sqrt{1-{\hat{\alpha }}_t}{ϵ}_t$$ 如果我们有一个对 ${ϵ}_t$ 的预测器 ${ϵ}_{\theta }^{(t)}(x_t)$ 输入不含 $X_0$。我们可以用他来预测 $X_0$： $$f^{(t)}(x_t):=(x_t-\sqrt{1-{\alpha }_t}·{ϵ}^{(t)}(x_t))/\sqrt{{\alpha }_t}$$ 由此，这个去噪的过程可以看做： $$p_{\theta }^{(t)}(x_{t-1}|x_t)=q_{\sigma }(x_{t-1}|x_t,f^{(t)}(x_t))$$ 式子右边只和 $x_t,ϵ$ 有关

作者接下来证明了这个算法的 train 过程用到的 loss 和 DDPM 是等价的 (差一个常数)。也就是说，训好的 DDPM 模型可以认为是训好的 DDIM 模型

sample

这个模型是怎么 infer 的呢？

进一步展开、化简刚才的 $p_{\theta }^{(t)}(x_{t-1}|x_t)$，我们可以得到

这个式子里面只有最右边的部分是带有随机成分的。而且当 $${\sigma }_t=\sqrt{(1-{\alpha }_{t-1})/(1-{\alpha }_t)}\sqrt{1-{\alpha }_t/{\alpha }_{t-1}}$$ 时退化为 DDPM

如果我们取 ${\sigma }_t=0$。式子有确定性的输出，这个模型称作 DDIM。

ACCELERATED GENERATION PROCESSES

说完了采样，那么加速在哪呢？

作者证明了：

• 上面的逆过程不需要从 $T,T-1,...,1,0$ 一路下降，其实选取一个递减的子集也是可以的！

实验

实验部分，作者实际上选取了： $${\sigma }_t=\eta \sqrt{(1-{\alpha }_{t-1})/(1-{\alpha }_t)}\sqrt{1-{\alpha }_t/{\alpha }_{t-1}}$$ 其中 $\eta$ 是超参，0 代表是 DDIM，1 代表是 DDPM。另一个变量是选取的子集 S 的大小 ($|S|=1000$ 代表没有简化)，跑了这个图：

可以看出，DDIM 在步数少的时候表现最好。最下面那个 $\hat{\sigma }$ 代表原始的 DDPM 祖先采样。可以看出，衰减非常明显

作者还提到了这个方法的另一个优势：

• 由于确定性的增加，相同的初始噪声映射到基本相同的结果。可以方便做图片的修改。

我的思考

• 虽然证明和数学过程很复杂，但结论却是惊人的简单：同样的 DDPM，换一个采样方法，就能加速 50 倍
• 这个感觉是对上面论文 ODE 的一种实现？作者在论文里也用一小节说了这事。

论文阅读 - SCORE-BASED-GENERATIVE-MODELING-THROUGH-STOCHASTIC-DIFFERENTIAL-EQUATIONS

• 有个后文 DPM-Solver，10 步就能媲美 DDPM-1000 步，过两天笔记整上