深度学习笔记——dVAE（DALL·E的核心部件）

详细介绍DALL·E的核心部件之一——dVAE，在VQ-VAE的基础上使用Gumbel-Softmax实现采样，用于图像生成。

文章目录

• 深度学习——AE、VAE

  AE 和 VAE 在结构、目的和优化方式上存在多个重要区别：

  特性	AE	VAE
  编码器输出	固定的低维向量（确定性的表示）	隐藏变量的均值 $\mu$ 和方差 ${\sigma }^2$（表示潜在空间的分布）
  潜在空间	没有明确的分布假设	假设潜在空间遵循某种概率分布（通常为正态分布）
  解码器	从固定低维向量生成输入数据的近似	使用 重参数化技巧 从潜在变量的分布中采样，再通过解码器生成输入数据的近似
  损失函数	仅有重构损失，最小化输入数据与重构数据的差异	重构损失 + KL 散度，既保证数据重构效果，又保证潜在空间的分布合理
  目的	数据降维、特征提取或数据去噪	生成新数据（如图像生成、文本生成等），同时保留对输入数据的重构能力
  生成新数据的能力	无法直接生成新数据	可以通过在潜在空间中采样生成与训练数据相似的全新数据

  万字长文解读深度学习——VQ-VAE和VQ-VAE-2

  Zero-Shot Text-to-Image Generation）中，DALL·E模型是我最近开始研究VAE系列模型的根源，论文中并没有详细给出dVAE的模型架构，更多详细的dVAE结构，强烈推荐下面三篇外文博客：

  • Understanding VQ-VAE (DALL-E Explained Pt. 1)

  • How is it so good ? (DALL-E Explained Pt. 2)

  • How OpenAI’s DALL-E works?

Discrete VAE（dVAE），整体来说与 VQ-VAE 类似，主要的区别是：

• 在 VQ-VAE 中使用停止梯度传播来解决最近邻搜索的离散化方法造成的不可导问题。
• 在 dVAE 中使用Gumbel-Softmax为离散变量提供了一种连续化的近似来解决的离散化方法造成的不可导问题。

具体来说，Gumbel-Softmax 为离散变量提供了一种连续化的近似，使得离散潜变量的采样过程可以进行梯度反向传播，而不需要依赖停止梯度策略。dVAE 本身可以独立生成图像，不一定需要与生成模型（如 PixelCNN 或 Transformer）结合使用。

图片来源

CATEGORICAL REPARAMETERIZATION WITH GUMBEL-SOFTMAX

Gumbel-Softmax 为离散变量提供了一种连续化的近似，使得离散潜变量的采样过程可以进行梯度反向传播，而不需要依赖停止梯度策略，同时保持端到端可微性。

dVAE获取图像，并输出每个潜在特征的码本向量集上的分类分布

应用 Gumbel Softmax 采样即可获得新的概率分布；

然后将概率分布作为权重，对相应的 codebook 向量进行累积；就可以获得 latent vector。

然后 Decoder 可以基于此 latent vector 重构输出图像。

从Gumbel softmax分布中采样码本向量，然后将它们传递到解码器以重建原始的编码图像

在上述的过程中，通过添加 Gumbel 噪声的方式进行离散采样，可以近似为选择 logits 中概率最大的类别，从而提供一种可微分的方式来处理离散采样问题。具体来说，其关键为 Gumbel-Max Trick，其中 $g_i$ 是从 Gumbel(0, 1) 分布中采样得到的噪声，τ 是温度系数。需要说明的是，t 越小，此处的 Softmax 就会越逼近于 ArgMax。τ 越大，就越接近于均匀分布。这也就引入了训练的一个 Trick：训练起始的温度系数 τ 很高，在训练的过程中，逐渐降低 τ，以便其逐渐逼近 ArgMax。在推理阶段就不再需要 Gumbel Softmax，直接使用 ArgMax 即可。

图片来源

通过 Gumbel-Softmax，编码器输出的 logits 可以生成一个连续近似的 one-hot 表示 $y$，公式如下：

$$y_i=\frac{\exp ((\log ({\pi }_i)+g_i)/\tau )}{{\sum }_{j=1}^k\exp ((\log ({\pi }_j)+g_j)/\tau )},g_i\sim \text{Gumbel}(0,1)$$

• ${\pi }_i$： 类别 $i$ 的概率，表示离散分布中类别 $i$ 被选择的概率，满足 ${\pi }_i>0$ 且 ${\sum }_{i=1}^k{\pi }_i=1$。
• $\log ({\pi }_i)$： 类别 $i$ 的对数概率，也称为 logits（表示每个类别的概率得分）。它是为了将概率值映射到对数空间，便于数值稳定性和与 Gumbel 噪声结合。
• $g_i$： 从 Gumbel 分布 $\text{Gumbel}(0,1)$ 中采样的噪声，用于引入随机性，模拟离散采样过程。
• $\tau$： 温度参数，控制生成分布的平滑程度：
  • 当 $\tau \to 0$，$y_i$ 趋于 one-hot 表示（接近离散分布）。
  • 当 $\tau \to \infty$，$y_i$ 趋于均匀分布（所有类别的概率接近相等）。

---

文生图模型演进：AE、VAE、VQ-VAE、VQ-GAN、DALL-E 等 8 模型
【论文精读】DALLE: Zero-Shot Text-to-Image Generation零样本文本到图像生成
【论文精读】DALLE2: Hierarchical Text-Conditional Image Generation with CLIP Latents
【论文精读】DALLE3：Improving Image Generation with Better Captions 通过更好的文本标注改进图像生成
AI绘画原理解析：从CLIP、BLIP到DALLE、DALLE 2、DALLE 3、Stable Diffusion(含ControlNet详解)

参考博文（DALL·E和dVAE的很多国内文章图片都来自下面的博文）：
Understanding VQ-VAE (DALL-E Explained Pt. 1)
How is it so good ? (DALL-E Explained Pt. 2)
How OpenAI’s DALL-E works?

机器学习笔记——损失函数、代价函数和KL散度
机器学习笔记——特征工程、正则化、强化学习
机器学习笔记——30种常见机器学习算法简要汇总
机器学习笔记——感知机、多层感知机(MLP)、支持向量机(SVM)
机器学习笔记——KNN（K-Nearest Neighbors，K 近邻算法）
机器学习笔记——朴素贝叶斯算法
机器学习笔记——决策树
机器学习笔记——集成学习、Bagging（随机森林）、Boosting（AdaBoost、GBDT、XGBoost、LightGBM）、Stacking
机器学习笔记——Boosting中常用算法（GBDT、XGBoost、LightGBM）迭代路径
机器学习笔记——聚类算法（Kmeans、GMM-使用EM优化）
机器学习笔记——降维

深度学习笔记——优化算法、激活函数
深度学习——归一化、正则化
深度学习——权重初始化、评估指标、梯度消失和梯度爆炸
深度学习笔记——前向传播与反向传播、神经网络（前馈神经网络与反馈神经网络）、常见算法概要汇总
深度学习笔记——卷积神经网络CNN
深度学习笔记——循环神经网络RNN、LSTM、GRU、Bi-RNN
深度学习笔记——Transformer
深度学习笔记——3种常见的Transformer位置编码
深度学习笔记——GPT、BERT、T5
深度学习笔记——ViT、ViLT
深度学习笔记——DiT（Diffusion Transformer）
深度学习笔记——CLIP、BLIP
深度学习笔记——AE、VAE
深度学习笔记——生成对抗网络GAN
深度学习笔记——模型训练工具（DeepSpeed、Accelerate）
深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）
深度学习笔记——模型部署
深度学习笔记——VQ-VAE和VQ-VAE-2