今天读了一篇编译，接下来回到老本行，来一篇diffusion model。这篇工作很有名，有点碰瓷DDPM的意思，其中“IMPLICIT”的意思是隐含。和DDPM的“probabilistic”相比，意思是减少随机性，加速采样。作者自己在AI Time上有个报告，好挺好的。
这篇工作和别的diffusion model工作一样，比较数学，很多推导我就不详细写了，可以从附录里看。
Introduction
大概意思就是：
- GAN很好，但今年的DDPM也不差
21年有一篇OpenAI的 BEAT GANS，用了DDIM，关注度很高，意思就是DDPM真的比GAN好
- DDPM的问题是慢
- 在CIFAR-10做32x32要20h
- 在CIFAR-10做256x256要1000h
- 本文解决这个问题,通过一个非马尔科夫的过程
Background
作者先讲了一般的DDPM是怎么搞的，这个叙述方式挺好的，讲讲重点
有一个公式： \[ q(x_{1:T} | x_0) := \prod_{t=1}^T q(x_t |x_{t-1}) \\ q(x_t |x_{t-1}) := N(\sqrt{\frac{\alpha_t}{\alpha_{t-1}} } x_{t-1},(1- \frac{\alpha_t}{\alpha_{t-1}})I) \] 也就是说，正常的DDPM是一个马尔科夫过程，想要从\(X_0\)得到后面，需要一步一步加噪声。这个噪声是一个高斯分布，其均值和\(X_{t-1}\)有关，是sample出来的。
反向的公式是： \[ q(x_{t−1}|x_t,x_0) = N(x_{t−1};μ_t(x_t,x_0),\hat{\beta_t} I), \] 其中 \[ \text{均值:} \mu_t(x_t,x_0) = \frac{ \sqrt{ \overline{\alpha_{t-1}} }\beta_t }{1 - \overline{\alpha_{t}}} x_0 + \frac{\sqrt{\alpha_t} (1 - \overline{\alpha_{t-1}} )}{1 - \overline{\alpha_{t}}} x_t \\ \text{方差:} \hat{\beta_t} = \frac{1 - \overline{\alpha_{t-1}}}{1 - \overline{\alpha_{t}}}\beta_t \]
另一方面，由于这个高斯分布的传递性，我们可以把\(x_t\)视为单位高斯分布和\(x_0\)的线性叠加： \[ x_t = \sqrt{\hat\alpha_t} x_0 + \sqrt{1 - \hat\alpha_t} \epsilon, \quad \epsilon \sim N(0,I) \] 我们在训练时我们想要让 \(\log p_\theta(x_0) \to \log q(x_0)\)，也就是说，我们想要优化： \[ L_{t-1} = E_q [ \frac{1}{2\sigma^2} || \mu_t(x_t,x_0) - \mu_\theta(x_t,t)||^2] \] 其中
左边是实际马尔科夫链对\(x_{t-1}\)的估计，可计算
右边是我们的去噪模型\(\theta\)对\(x_{t-1}\)的估计，可计算
这里我们套入上面\(x_t\)的公式，看做\(x_t,\epsilon\)的函数，进行一波化简，最终得到 \[ L_{t-1} = C * \frac{1}{2\sigma^2} || \epsilon - \mu_\theta(\sqrt{\hat\alpha_t} x_0 + \sqrt{1 - \hat\alpha_t},t)||^2 \] 忽略常数C，同时对所有的L进行优化： \[ L_{\text{simple}} = \sum_{t=1}^T L_t \] 就能学出DDPM模型了
VARIATIONAL INFERENCE FOR NON-MARKOVIAN FORWARD PROCESSES
上面全是DDPM的数学推导。接下来，作者讲了他的贡献。它发现：
- DDPM中的loss\(L_\lambda\)只依赖于\(q(x_t|x_0)\)，和\(q(x_{1:T} |x_0)\)无关。这样符合边缘分布的可能性有很多，作者选取了一个非马尔科夫的过程
\[ q_\sigma(x_{1:T} |x_0) := q(x_{T} |x_0) \prod_{t=2}^T q_\sigma (x_{t−1} |x_t , x_0 ) \\ q_\sigma (x_{t−1} |x_t , x_0 ) = N \left( \sqrt{\alpha_{t-1}}x_0 + \sqrt{1 - \alpha_{t-1} - \sigma^2_t} \times \frac{x_t - \sqrt{\alpha_t}x_0}{\sqrt{1-\alpha_t}} , \sigma_t^2 I\right) \]
接下来，对于 \(x_0 \sim q(x_0) , \epsilon_t \sim N (0, I)\)我们可以获取其对应的\(X_t\)，由 \[ x_t = \sqrt{\hat\alpha_t} x_0 + \sqrt{1 - \hat\alpha_t} \epsilon_t \] 如果我们有一个对\(\epsilon_t\)的预测器\(\epsilon_\theta^{(t)}(x_t)\)输入不含\(X_0\)。我们可以用他来预测\(X_0\)： \[ f^{(t)}(x_t) := (x_t − \sqrt{1 − \alpha_t} · \epsilon^{(t)}(x_t))/\sqrt{\alpha_t} \] 由此，这个去噪的过程可以看做： \[ p_\theta^{(t)}(x_{t-1} | x_t) = q_\sigma (x_{t−1} |x_t , f^{(t)}(x_t) ) \] 式子右边只和\(x_t,\epsilon\)有关
作者接下来证明了这个算法的train过程用到的loss和DDPM是等价的(差一个常数)。也就是说，训好的DDPM模型可以认为是训好的DDIM模型
sample
这个模型是怎么infer的呢？
进一步展开、化简刚才的\(p_\theta^{(t)}(x_{t-1} | x_t)\)，我们可以得到
这个式子里面只有最右边的部分是带有随机成分的。而且当 \[ \sigma_t = \sqrt{(1 − \alpha_{t−1})/(1 − \alpha_{t})}\sqrt{1 − \alpha_{t}/\alpha_{t-1}} \] 时退化为DDPM
如果我们取\(\sigma_t = 0\)。式子有确定性的输出，这个模型称作DDIM。
ACCELERATED GENERATION PROCESSES
说完了采样，那么加速在哪呢？
作者证明了：
- 上面的逆过程不需要从\(T,T-1,...,1,0\)一路下降，其实选取一个递减的子集也是可以的！
实验
实验部分，作者实际上选取了： \[ \sigma_t = \eta \sqrt{(1 − \alpha_{t−1})/(1 − \alpha_{t})}\sqrt{1 − \alpha_{t}/\alpha_{t-1}} \] 其中\(\eta\)是超参，0代表是DDIM，1代表是DDPM。另一个变量是选取的子集S的大小(\(|S|=1000\)代表没有简化)，跑了这个图：
可以看出，DDIM在步数少的时候表现最好。最下面那个\(\hat\sigma\)代表原始的DDPM祖先采样。可以看出，衰减非常明显
作者还提到了这个方法的另一个优势：
- 由于确定性的增加，相同的初始噪声映射到基本相同的结果。可以方便做图片的修改。
我的思考
- 虽然证明和数学过程很复杂，但结论却是惊人的简单：同样的DDPM，换一个采样方法，就能加速50倍
- 这个感觉是对上面论文ODE的一种实现？作者在论文里也用一小节说了这事。
- 有个后文 DPM-Solver，10步就能媲美DDPM-1000步，过两天笔记整上