既是自编码器，也是RNN，DeepMind迷信家八个视角合成散漫模子

机械之心编译

作者
：Sander Dieleman

编纂 ：Panda W

散漫模子很火，既自角合对于其形貌也大有差距。编码本文中，器也一位 DeepMind 钻研迷信家周全合成了「散漫模子是迷漫模甚么」这一课题。

假如你试验过当初最火的个视 AI 绘画工具之一 Stable Diffusion，那你就已经体验偏激散模子（diffusion model）那强盛的成散天在行腕 。但假如你想更进一步 ，既自角合清晰其使命方式，编码你会发现散漫模子的器也方式着实有良多种
。

假如你随机抉择两篇对于散漫模子的迷漫模研品评辩说文
，看看各自引言中对于模子类另形态貌，个视你可能会看到它们的成散形貌大不相同 。这可能既让人恼恨
，既自角合又具备开辟性
：让人恼恨是编码由于人们更难发现论文以及实现之间的关连，而具备开辟性的器也原因则是每一种意见都能揭示出新的分割，催生出新的脑子。

克日 ，DeepMind 钻研迷信家 Sander Dieleman 宣告了一篇博客长文，演绎综合性地总结了他对于散漫模子的意见 。

这篇文章是他去年所写的《散漫模子是自动编码器》一文的进一步缩短。这个问题有些开顽笑的象征
 ，但也夸张了散漫模子以及自动编码器之间存在详尽分割。他以为人们直到如今依然低估了这种分割 。

感兴趣的读者可访阅：https://sander.ai/2022/01/31/diffusion.html

而在这篇新文章中，Dieleman 从多个差距视角合成了散漫模子
，搜罗将散漫模子看做是自动编码器、深度隐变量模子、预料分数函数的模子、求解逆向随机微分方程的模子 、流模子、循环神经收集、自回归模子以及估量期望的模子 。他还谈了自己对于散漫模子钻研倾向确之后钻研现状的意见
。

散漫模子是自动编码器

去噪自动编码器是一种神经收集
，其输入被噪声伤害，而它们的使命目的则是预料出清洁的输入，即消除了伤害。要很好地实现这一使命 ，需求学习清洁数据的扩散 。它们黑白经罕用的表征学习措施 ，而在深度学习睁开早期 ，它们也被用于深度神经收集的分层预磨炼 。

事实证实散漫模子中运用的神经收集个别求解的是一个颇为相似的下场：给定一个被噪声传染的输入示例 ，它要预料出与其数据扩散相关的一些量。这可能是对于应的清洁输入（彷佛去噪自动编码器）、所削减的噪声或者某种介于两者之间的工具（稍后会详细介绍）
。当伤害历程是线性的时，所有这些都是等价的 ，即噪声是削减下来的，惟独从有噪声输入中减去预料服从，咱们就能将预料噪声的模子酿成预料清洁输入的模子。用神经收集术语来说，便是从输入到输入削减一个残差衔接。

它们有多少项关键性差距：

• 在学习输入的实用表征时，去噪自动编码器中部的某个位置每一每一存在某种信息瓶颈，这会限度其学习表征的能耐。去噪使命自己只是抵达目的的一种本领 ，而不是咱们在磨炼模子后真正运用模子的目的 。用于散漫模子的神经收集个别不这样的瓶颈，由于咱们更在意它们的预料服从 ，而不是用于患上到这些服从的外部表征方式 。

• 去噪自动编码器可能运用多种差距规范的噪声来磨炼 。好比说，咱们可能将部份输入拆穿掉（遮掩噪声），咱们也可能削减来自某个恣意扩散（艰深为高斯扩散）的噪声。对于散漫模子，咱们个别坚持削减高斯噪声，由于它具备实用的数学特色  ，可能简化良多操作
  。

• 另一个紧张差距是去噪自动编码器的磨炼目的只是处置特定强度的噪声。而运用散漫模子时 ，咱们想要凭证带有良多或者大批噪声的输入预料一些工具。噪声水平也是神经收集的一个输入。

事实上，作者以前详细品评辩说过这两者之间的关连，想愈加透辟清晰这一关连的读者可碰头：https://sander.ai/2022/01/31/diffusion.html

散漫模子是深度隐变量模子

Sohl-Dickstein et al. 在一篇 ICML 2015 论文中最先建议运用散漫历程来逐渐伤害数据的妄想 ，而后再经由学习逆向该历程来构建天生模子。五年之后，Ho et al. 基于此开拓出了去噪散漫多少率模子（DDPM） ，其与基于评分的模子一起组成为了散漫模子的蓝图 。

DDPM 如上图所示 ，x_T（隐含）展现高斯噪声，x_0（审核到的）展现数据扩散。这些随机变量由有限数目的中间隐变量 x_t （个别 T=1000）衔接在一起，这会组成一个马尔可夫链
，即 x_{ t-1} 仅取决于 x_t ，而并不直接依赖于该链中以前的恣意随机变量。

这个马尔可夫链的参数的拟合方式是运用变分推理来逆向散漫历程
，这个散漫历程自己也是一个马尔可夫链（倾向相同，图中展现为 q (x_t∣x_{ t−1})），但这条链是逐渐向数据削减高斯噪声 。

详细来说，就像是在变分自动编码器（VAE）中同样，咱们可能写下一个证据下界（ELBO），即对于数似然的一个领土
，而对于数似然是可能轻松地最大化的 。事实上 ，这一节的小问题也可能是「散漫模子是深度 VAE」，但由于以前已经从另一个视角写了「散漫模子是自动编码器」，因此为了防止混合就选用了之后小问题。

咱们知道 q (x_t∣x_{ t−1}) 是高斯扩散，但咱们想运用模子拟合的 p (x_{ t−1}∣x_t) 却不需要是 。但事实证实，惟独每一个径自的步骤饶富小（即 T 饶富大），咱们可能经由参数配置让 p (x_{ t−1}∣x_t) 看起来像是高斯扩散
，而且其类似倾向将饶富小 ，该模子依然能天生优同样本
。子细想一想，这有点使人惊惶 ，由于在采样历程中
，任何过错都可能随着 T 而积攒。

散漫模子预料的是分数函数

大少数基于似然的天生模子都是对于输入 x 的对于数似然 log p (x∣θ) 妨碍参数化，而后拟合模子参数 θ 来最大化它，要末是类似地拟合（如 VAE），要末是精确拟合（如流模子或者自回归模子） 。由于对于数似然展现多少率扩散，而多少率扩散必需归一化 ，以是个别需要一些约束来确保参数 θ 的所有可能值都发生实用的扩散。好比自回归模子经由因果掩码（causal masking）来确保这一点  ，而大少数流模子需要可逆的神经收集架构  。

钻研表明，尚有另一种拟合扩散的措施可能怪异地避开对于归一化的要求 ，即分数立室（score matching）。这基于这一审核：所谓的分数函数（score matching）

不会随 p (x∣θ) 的缩放而变更 。这很简略看进去：

施加于多少率密度的任何比例因子都市消逝。因此，假如咱们有一个直接对于分数估量

妨碍参数化的模子，那就能经由最小化分数立室损失来拟合扩散（而不是直接最大化似然）：

可是 ，运用这种方式时，损失函数可能不适用，由于咱们不为恣意数据点 x 合计根基真值分数