什么是数据集的分布

最近看 GAN 相关的论文，总出现「分布」这个词，什么「数据集的分布 $p_{\text{data}}(x)$」^[1] 啦、「目标域 $Y$ 的分布」^[2] 啦～所以对于 CV 而言，究竟什么叫做「分布」呢？

在概率论中我们都学过概率分布，最能体现概率分布的就是分布列 $p_X(x)$（对于离散随机变量）或概率密度函数 $f_X(x)$（对于连续随机变量）或累积分布函数 $F_X(x)$（离散、连续都适用）了。我们当年先学习一元随机变量，然后过渡到二元随机变量，于是出现了联合分布 $p_{X,Y}(x,y)$、边缘分布 $p_X(x)$ 等。如果我们进一步扩展，设 $X$ 是一个随机向量，那么 $p_X(x)$ 可以是这个随机向量的概率分布，也可以理解为 $X$ 各个分量的联合分布。

这么看来，当我们说到「分布」的时候，似乎指的是一个 ${\mathbb{R}}^n\mapsto \mathbb{R}$ 的函数，从输入的随机向量映射到一个正实数值，这当然没错，不过这个函数不是很直观。为此，我们可以在脑海中想象一个 ${\mathbb{R}}^n$ 空间，在这个空间里撒点，概率大的地方点密集一些，概率小的地方点稀疏一些～嗯不错，现在脑海里就有了一个非常直观的画面了。

Okay，现在我们在 CV 领域，更准确来讲是 GAN 的领域细想一下这个问题。GAN 解决一个什么问题？在 GAN 的论文^[1] 中已经说的很明白了：让生成网络 $G$ 的输出分布和数据集的分布相同。为了训练 $G$，我们引入一个判别网络 $D$ 来判断 $G$ 的输出分布究竟和数据集的分布是否相同，通过损失将梯度一路传回 $G$ 达到训练的效果。那么什么叫做数据集的分布呢？

想象一个“图像空间”，它可以是 $32\times 32$ 维、每一维在 ${256}^3$ 中取值的离散空间（也即是把 $32\times 32$ 的图像压扁成向量视作输入）；也可以是 $100$ 维随机向量在经过复杂的非线性变换后得到的空间（也即是 GAN 中 $G$ 网络的输出空间）……总之，在这样的空间里，大部分图像都是没有意义的噪声图像，就像老电视机屏幕的雪花一样，没有哪个图像数据集会收录这样的噪声；反过来想，一个数据集收录的所有图像，就在这个空间中占据了一些小地方，想象在这些地方撒了一些密集的点，这就是所谓数据集的分布了。

那什么是某种「域」的分布呢？「域」这东西蛮悬的，基本靠上下文猜作者是啥意思。如果我想把猫变成狗，我可以说我的 GAN 从猫这个域映射到了狗这个域；我让一个垮着脸的人笑了起来，我说微笑的脸是一个域。反正域类似一个子空间，这里面的图像有某种共同特征，比如猫域里都是猫。域的分布就是说，猫域在整个图像空间里占据了一小小块特定的位置：

就酱！

参考资料

1. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27. ↩︎
2. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE international conference on computer vision (pp. 2223-2232). ↩︎