变分自编码器（一）：原来是这么一回事 - 科学空间|Scientific Spaces
变分自编码器（二）：从贝叶斯观点出发 - 科学空间|Scientific Spaces
变分自编码器（三）：这样做为什么能成？ - 科学空间|Scientific Spaces
变分自编码器（四）：一步到位的聚类方案 - 科学空间|Scientific Spaces
https://arxiv.org/pdf/1312.6114.pdf
构建从隐变量Z生成目标数据X的模型
目的：进行分布之间的变换。
$\hat{X}_1 = g(Z_1),\hat{X}_2 = g(Z_2),\dots,\hat{X}_n = g(Z_n)$
需要判断，这个g的分布跟目标分布是否一致。我们并不知道它们的概率分布的表达式，无法使用KL散度进行计算
首先我们有一批数据样本$\{X_1,\dots,X_n\}$，其整体用$X$来描述，我们本想根据$\{X_1,\dots,X_n\}$得到$X$的分布$p(X)$，如果能得到的话，那我直接根据$p(X)$来采样，就可以得到所有可能的$X$了（包括$\{X_1,\dots,X_n\}$以外的），这是一个终极理想的生成模型了。当然，这个理想很难实现
分布改为
$$ p(X)=\sum_Z p(X|Z)p(Z)\tag{1} $$