生成任务

通过训练生成器$\textbf G$，输入从正态分布采样出的$z$，输出图片$x=G(z)$，$p_{G}(x)$与真实数据分布$p_{data}(x)$越接近越好。

要通过最大化对数似然，来优化生成器$\textbf G$的参数：

$$ G^*=\arg\max_G\sum_{i=1}^m\log p_G\left(x_i\right.) $$

可以证明，最大化这个对数似然，就相当于最小化生成器分布$p_{G}(x)$与目标分布$p_{data}(x)$的 KL散度，即让这两个分布尽量接近：

$$ G^*\approx\arg\min_GKL(p_{data}||p_G) $$

相关数学基础

主要包括：雅可比矩阵（Jacobian Matrix）、行列式（deteminant）、变量变换定理（Change of Variable Theorem）

【数学】雅可比矩阵 Jacobian Matrix

$$ \begin{array}{c}p(x^{\prime})|det(J_f)|=\pi(z^{\prime})\\p(x^{\prime})=\pi(z^{\prime})|det(J_{f^{-1}})|\end{array} $$

流模型公式推导

生成任务就是要通过最大化对数似然优化生成器：

$$ G^*=\arg\max_G\sum_{i=1}^m\log p_G(x_i) $$

而根据上面数学基础得到的结论，有：

$$ p_G(x_i)=\pi(z_i)|det(J_{G^{-1}})|,\quad z_i=G^{-1}(x_i) $$

则对数似然：

$$ \log p_G(x_i)=\log\pi(G^{-1}(x_i))+\log|det(J_{G^{-1}})| $$