[统计推断]第二章·变换和期望

1 随机变量函数的分布

1.1 随机变量的函数

设 $X$ 是一随机变量且累积分布函数为 $F_X(x)$，则 $Y=g(X)$ 也是随机变量。

设 $g(x):\mathcal{X}\to \mathcal{Y}$，定义逆映射： $$g^{-1}(A)=\{x\in \mathcal{X}:g(x)\in A\}$$ 注意这个定义将集合映射到集合。即便 $g(x)$ 不是单调函数，$g^{-1}$ 也有定义。

在上述定义下，任给集合 $A\subset \mathcal{Y}$，则有：$P(Y\in A)=P(\{x\in \mathcal{X}:g(x)\in A\})=P(X\in g^{-1}(A))$.

若 $X$ 与 $Y$ 都是连续随机变量，则常用的推导 $Y$ 的 cdf 的方式是： $$F_Y(y)=P(Y\le y)=P(g(X)\le y)=P(\{x\in X:g(x)\le y\})={\int }_{\{x\in X:g(x)\le y\}}{p}_X(x)\mathrm{d}x$$

例【伽玛概率密度函数和逆伽玛概率密度函数】设 $f_X(x)$ 为伽玛概率密度函数： $$f_X(x)=\frac{1}{(n-1)!{\beta }^n}{x}^{n-1}{e}^{-x/\beta },0<x<+\mathrm{\infty }$$ 其中 $\beta$ 是某大于零的常数，$n$ 是一正整数。现求 $Y=g(X)=\frac{1}{X}$ 的概率密度函数。那么： $$F_Y(y)=P(Y\le y)=P(X\ge 1/y)=1-P(X\le 1/y)=1-F_X(1/y)$$ 故： $$f_Y(y)=\frac{\mathrm{d}{F}_Y(y)}{\mathrm{d}y}=\frac{f_X(1/y)}{y^2}=\frac{1}{(n-1)!{\beta }^n}{\left(\frac{1}{y}\right)}^{n+1}{e}^{-1/(\beta y)}$$ 这就是逆伽玛概率密度函数（的一个特例）。

在对随机变量进行变换时，需要明确随机变量的样本空间，常取： $$\mathcal{X}=\{x:f_X(x)>0\}\mathcal{Y}=\{y:\mathrm{\exists }x,y=g(x)\}$$ 上述 $\mathcal{X}$ 也称作随机变量 $X$ 的分布的支撑集（support set），即 $f_X(x)$ 取值为正的地方。

1.2 随机变量的单调函数

单调情形非常常见，因此特意拿出来推导一下。设 $f_X(x)$ 是 $\mathcal{X}$ 上的连续函数，$g^{-1}(y)$ 在 $\mathcal{Y}$ 上有连续导数，则： $$F_Y(y)=P(Y\le y)=\{\begin{array}{lll}P(X\le g^{-1}(y))=F_X(g^{-1}(y))& & \text{若 }g\text{ 是增函数}\\ P(X\ge g^{-1}(y))=1-F_X(g^{-1}(y))& & \text{若 }g\text{ 是减函数}\end{array}$$ 求导可以得到： $$f_Y(y)=f_X(g^{-1}(y))|\frac{\mathrm{d}}{\mathrm{d}y}{g}^{-1}(y)|,y\in \mathcal{Y}$$

例【均匀分布与指数分布的联系】设 $X$ 服从 $(0,1)$ 上的均匀分布，$Y=g(X)=-\log X$，则 $g^{-1}(y)=e^{-y}$，于是 $$F_Y(y)=1-F_X(g^{-1}(y))=1-F_X(e^{-y})=1-e^{-y}$$ 或直接计算 pdf： $$f_Y(y)=f_X(g^{-1}(y))|\frac{\mathrm{d}}{\mathrm{d}y}{g}^{-1}(y)|=e^{-y}{f}_X(e^{-y})=e^{-y}$$ 因而 $Y$ 服从参数为 $1$ 的指数分布。

1.3 概率积分变换

定理：设随机变量 $$ 有连续累积分布函数 $$。令 $$，则 $$，即 $$.

在证明前，首先定义 $$ 的逆 $$。鉴于 $$ 不一定严格单调递增，我们定义累积分布函数的逆如下： $$ 如此，在下图的情况下，有 $$。

接下来我们完成证明： $$ 对于第三个等号，如果 $$ 严格递增，那么 $$，等式显然成立；如果不是严格递增，例如上面图中对于 $$ 一段，都有 $$，但由于 $$，所以等式依旧成立。

利用概率积分变换定理，我们可以根据给定的概率分布构造相应的随机样本。如果我们想构造 $$ 使其具有累积分布函数 $$，则只需要首先构造 $$ 上的均匀分布，再从 $$ 中解出 $$。这是一种能广泛应用的构造方法。

注记：这个定理叫做概率积分变换，但上文没看到积分呢？其实“积分”出现在：$$。直观来说，$$ 是 $$ 上 pdf 曲线下的面积。

该定理在图像处理领域的直方图均衡化/规定化中也有应用，只不过应用的是这个定理的离散形式，详见《数字图像处理》3.3 节。

2 期望

2.1 期望

$$

如果 $$，称 $$ 不存在。注意这有个绝对值。一个经典的期望不存在的随机变量是柯西(Cauchy)随机变量。

为什么有个绝对值？因为在期望的定义式中，为了避免由于求和（积分）顺序的改变而导致结果改变，应要求期望是绝对收敛而非条件收敛的。

指数期望：$$

二项期望：$$

柯西期望：$$

2.2 距离最小化

如果我们用 $$ 来度量随机变量 $$ 与常数 $$ 之间的距离，则可以通过求使得 $$ 最小的 $$ 作为 $$ 的估计。由于： $$ 其中第一项与 $$ 无关，第二项非负且当 $$ 时取到 $$，因此： $$ 这意味着我们应取 $$.

但是如果用 $$ 来作为距离的度量，结论还会一样吗？下面假设 $$ 是连续随机变量。 $$ 对 $$ 求导得： $$ 令其为零： $$ 又因为二者相加为 $$，所以最优的 $$ 是随机变量 $$ 的中位数 $$： $$

3 矩和矩母函数

3.1 矩

概率分布的矩是一类重要的期望。对任意整数 $$，$$ 的 $$ 阶矩和$$ 阶中心矩分别为： $$ 其中二阶中心矩即是方差 $$.

指数方差：$$

二项方差：$$

3.2 矩母函数

设随机变量 $$ 的 cdf 为 $$，则矩母函数（moment generating function, mgf）定义为： $$ 这里假设 $$ 在 $$ 的某邻域内时上式中的期望存在。如果在 $$ 的任意邻域内该期望都不存在，称矩母函数不存在。

从矩母函数可以计算矩： $$ 以连续随机变量为例证明：假设求导可放入积分（下一节叙述），则： $$ 于是易得上述结论。

例【伽玛矩母函数】一般的伽玛概率密度函数的形式如下： $$ 则矩母函数为： $$ 最后一个等式成立是因为积分内是另一个伽玛概率密度函数的积分。

根据矩母函数，容易知道伽玛分布的期望是： $$

矩母函数的主要作用并不是求矩，而是在大多数情况下它唯一地确定了一个概率分布。与之相对的，仅确定了全部（无数个）矩并不能唯一确定概率分布。换句话说，存在两个不同的概率分布，它们所有的矩都相等。

但是当随机变量的支撑集有界时，全部矩就能唯一确定概率分布了。总结来说：

1. 若 $$ 的支撑集有界，则 $$ 当且仅当 $$
2. 若 $$ 矩母函数都存在，且对 $$ 的某邻域内的任意 $$，都有 $$，则 $$

4 积分号下的求导

统计学中经常会遇到交换积分与求导的顺序。

4.1 Leibnitz 法则

若 $$ 都对 $$ 可导，则： $$ 特别的，如果 $$ 是常函数，得到 Leibnitz 法则的一个特例： $$

4.2 求导与积分互换的相关定理

将求导写作定义式，则： $$ 因此要证明求导和积分可以互换，只需证明求极限与积分可以互换。解决这个问题要用到超纲知识，因此这里直接给出结论。

定理：设对于任意 $$，$$ 在 $$ 处连续，并且存在函数 $$ 满足：

1. 对任意 $$ 有 $$【$$ 将 $$ 控制住】
2. $$【$$ 有有限积分】

则： $$

将这个定理套用到求导与积分互换问题中：假设 $$ 在 $$ 处可导，那么把 $$ 视作 $$，得到求导与积分互换的条件是：存在函数 $$ 和常数 $$，使得

1. 对任意 $$ 以及 $$，有 $$
2. $$

注意我们现在取 $$ 为某定值 $$；另外，$$ 的引入是因为我们考虑的是导数，只需要足够小的 $$ 而不需要对所有 $$ 都成立。

上面第一个条件类似于 Lipschitz 条件，通过给出一阶导函数的界来约束函数的光滑性。

假若 $$ 在任意 $$ 处可导，那么上述定理中的 $$ 可以全部换成 $$。并且在这种情形下，条件 1 可以根据拉格朗日中值定理进一步改写为：对任意满足 $$ 的 $$ 有 $$

4.3 求导与求和互换的相关定理

定理：设级数 $$ 对任意实数区间 $$ 内的 $$ 都收敛，并且：

1. 对任意 $$，$$ 都是 $$ 的连续函数
2. $$ 在 $$ 的任意闭有界子区间上都一致收敛

则： $$

4.4 求和与积分互换的相关定理

定理：设级数 $$ 在 $$ 上一致收敛，且对任意 $$，$$ 都是 $$ 的连续函数，则： $$