[统计推断]第四章·多维随机变量和不等式

$$$$

本篇是《统计推断》第四章多维随机变量的后 2 节内容，主要关注于多维随机变量和一些不等式。

1 多维分布

关于记号：用黑体表示向量，如 $\mathbf{X}=(X_1,\dots ,X_n)$，$\mathbf{x}=(x_1,\dots ,x_n)$.

1.1 相关概念定义

设随机向量 $\mathbf{X}$ 的样本空间是 ${\mathbb{R}}^n$ 的子集。若 $\mathbf{X}$ 为离散随机向量，则联合概率质量函数为： $$f(x_1,\dots ,x_n)=P(X_1=x_1,\dots ,X_n=x_n)$$ 且对任意 $A\subset {\mathbb{R}}^n$，有 $$P(\mathbf{X}\in A)=\sum _{\mathbf{x}\in A}f(\mathbf{x})$$ 若 $\mathbf{X}$ 为连续随机向量，则联合概率密度函数满足 $$P(\mathbf{X}\in A)=\int \cdots {\int }_{A}f(\mathbf{x})\mathrm{d}\mathbf{x}=\int \cdots {\int }_{A}f(x_1,\dots ,x_n)\mathrm{d}{x}_1\cdots \mathrm{d}{x}_n$$ 设 $g(\mathbf{x})$ 是定义在 $\mathbf{X}$ 样本空间上的实值函数，则 $g(\mathbf{X})$ 是随机变量，期望为： $$\mathbb{E}[g(\mathbf{X})]=\{\begin{array}{ll}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(\mathbf{x})f(\mathbf{x})\mathrm{d}x& \text{continuous}\\ \sum _{\mathbf{x}\in {\mathbb{R}}^n}g(\mathbf{x})f(\mathbf{x})\end{array}$$ 边缘 pmf/pdf 由联合 pmf/pdf 关于其余分量求积分/求和得到。例如 $(X_1,\dots ,X_n)$ 的前 $k$ 个分量 $(X_1,\dots ,X_k)$ 的边缘 pdf 为： $$f(x_1,\dots ,x_k)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x_1,\cdots ,x_n)\mathrm{d}{x}_{k+1}\cdots \mathrm{d}{x}_n$$ 条件 pmf/pdf 由联合 pmf/pdf 除以其余分量的边缘 pmf/pdf 得到。例如，若 $f(x_1,\dots ,x_k)>0$，则 $(X_{k+1},\dots ,X_n)$ 在条件 $X_1=x_1,\dots ,X_n=x_n$ 下的 pdf/pmf 为： $$f(x_{k+1},\dots ,x_n\mid x_1,\dots ,x_k)=\frac{f(x_1,\dots ,x_n)}{f(x_1,\dots ,x_k)}$$

1.2 多项分布——二项分布的推广

回顾二项分布： $$P(X=x\mid n,p)=(\genfrac{}{}{0ex}{}{n}{x})p^x(1-p{)}^{n-x},x=0,1,2,\dots ,n$$ 表示 $n$ 次独立伯努利试验中成功 $x$ 次的概率。

设 $m,n$ 为正整数，数 $p_1,\dots ,p_n$ 满足 $0\le p_i\le 1$，且 $\sum _{i=1}^N{p}_i=1$，若随机向量 $(X_1,\dots ,X_n)$ 的联合 pmf 为： $$f(x_1,\dots ,x_n)=\frac{m!}{x_1!\cdots x_n!}{p}_1^{x_1}\cdots p_n^{x_n}=m!\prod _{i=1}^n\frac{p_i^{x_i}}{x_i!}$$ 其中 $x_i$ 均为非负整数且 $\sum _{i=1}^n{x}_i=m$，则称 $(X_1,\dots ,X_n)$ 服从 $m$ 次试验、元概率为 $p_1,\dots ,p_n$ 的多项分布（multinomial distribution）。

与二项分布类似， 多项分布的意义是：做 $m$ 次独立试验，每次试验有 $n$ 中可能的结果，发生概率分别为 $p_1,\dots ,p_n$，随机变量 $X_i$ 表示第 $i$ 种结果出现的次数。

二项分布中的系数称为二项式系数，类似的，多项分布中的系数是多项式系数： $$(\genfrac{}{}{0ex}{}{m}{x_1,\dots ,x_n})=\frac{m!}{x_1!\cdots x_n!}$$ 表示将 $m$ 个物品分为 $n$ 类，第 $i$ 类有 $x_i$ 个物品的方案数。

二项式定理可以推广为多项式定理：设 $$ 为正整数，$$ 是满足每个 $$ 都是非负整数且 $$ 的全体向量 $$ 的集合，则对任意实数 $$，有： $$ 根据多项式定理，容易知道多项分布的 pmf 之和确实为 1，而集合 $$ 恰是其支撑集.

根据多项分布的意义，不难想到其第 $$ 个分量的边缘分布是 $$. 事实上，以第 $$ 个分量为例： $$ 同样根据多项分布的意义，不难想到在第 $$ 个分量的条件下，其余分量服从 $$ 次试验、元概率为 $$ 的多项分布。事实上，以第 $$ 个分量作为条件为例： $$

多项分布的任意两个分量都是负相关的，且： $$ Proof.

首先，由于多项分布的边缘分布是 $$，所以 $$，$$，$$.

其次，在 $$ 的条件下，其余分量是一个多项分布，因此 $$ 服从这个多项分布的边缘分布 $$，故 $$.

于是： $$ 进而： $$ Q.E.D.

1.3 独立性

前一篇讲了两个随机变量的独立性，我们将其进一步扩展：设 $$ 是一列随机向量，其联合 pdf/pmf 为 $$，$$ 的边缘 pdf/pmf 维 $$，若对任意 $$，都有

$$ 则称 $$ 是相互独立的随机向量；若每个 $$ 都是一维的，则称 $$ 是相互独立的随机变量。

注意：相互独立比两两独立更强，可以构造出两两独立的一组随机向量，但它们并不相互独立。

二维情形下的许多定理可以直接推广到多维情形：

定理：设 $$ 是相互独立的随机变量，$$ 是实值一元函数，则： $$ 定理：设 $$ 是相互独立的随机变量，矩母函数分别是 $$，令 $$，则 $$ 的矩母函数为： $$

例【伽玛变量和】伽玛分布的矩母函数为 $$，若 $$，则 $$ 的矩母函数为： $$ 故 $$.

定理：设 $$ 是相互独立的随机变量，矩母函数分别是 $$，令 $$，则 $$ 的矩母函数为： $$ Proof. $$ Q.E.D.

例【独立正态随机变量值和仍然服从正态分布】：设 $$ 是相互独立的随机变量，且 $$，则： $$ Proof. 回忆 $$ 随机变量的矩母函数为 $$，于是 $$ 故 $$.

Q.E.D.

定理（独立的充要条件）：设 $$ 是一列随机向量，则 $$ 相互独立当且仅当存在函数 $$ 使得 $$ 的联合 pdf/pmf 可以写作： $$ 定理：设 $$ 是一列独立的随机向量，$$ 是一元函数，则随机变量 $$ 相互独立。

1.4 随机向量变换的分布

设随机向量 $$ 的 pdf 为 $$，$$. 考察新的随机向量 $$，其中 $$. 设 $$ 是 $$ 的一个划分且 $$. 对所有 $$，变换 $$ 都是从 $$ 到 $$ 的一对一变换，因此对每个 $$ 都存在从 $$ 到 $$ 的逆变换。记第 $$ 个逆变换为 $$，则对任意 $$，它确定了唯一的 $$ 使得 $$. 记 $$ 为第 $$ 个逆变换的 Jacobi 行列式： $$ 假定 $$ 在 $$ 上不恒为 $$，则对任意 $$，联合 pdf 可以表示为： $$

前面一堆集合划分啥的，只是为了在每个划出来的集合上有逆变换罢了。定理的重点在于，随机向量变换后，新的 pdf 不仅要把变换代入，还要乘上一个 Jacobi 行列式的绝对值。

2 不等式

2.1 数值不等式

引理：设 $$ 为任意正数，且 $$ 满足（显然 $$）： $$ 则 $$ 当且仅当 $$ 时等式成立。

Proof. 考察函数 $$ 求导令为零： $$ 又 $$，故极小值为： $$ 又极小值唯一且当且仅当 $$，也即 $$ 时达到。

Q.E.D.

Holder 不等式：设 $$ 为任意随机变量，$$ 满足 $$，则： $$ Proof.

左边：由于 $$，得 $$，即 $$.

右边：令 $$ 则根据引理，有： $$ 对两边取期望，左边期望为 $$，因此： $$ Q.E.D.

Cauchy-Schwarz 不等式：在 Holder 不等式中，取 $$，得： $$

协方差不等式：根据 Cauchy-Schwarz 不等式，有： $$ 两边平方，即得到： $$

Liapounov 不等式：在 Holder 不等式中，令 $$，则： $$ 对任意 $$，用 $$ 代替上式中的 $$，则： $$ 做变量替换 $$，得到： $$

Minkowski 不等式：设 $$ 为任意随机变量，则对任意 $$，有： $$ Proof. 由三角不等式 $$，有： $$ 对上式右端两个期望分别使用 Holder 不等式，得到： $$ 其中 $$ 满足 $$，即 $$. 两边除以 $$，则右边即为所求，左边为： $$ 亦为所求。Q.E.D.

2.2 函数不等式

凸函数：如果对任意 $$ 以及 $$，函数 $$ 都满足 $$，则称 $$ 为凸函数；如果 $$ 是凸函数，则称 $$ 为凹函数。

Jensen 不等式：设 $$ 是任意随机变量，如果 $$ 是凸函数，则： $$ 等号成立当且仅当对于 $$ 在 $$ 处的切线 $$，有 $$.

Proof. 设 $$ 在 $$ 处的切线为 $$，由 $$ 的凸性可知 $$，于是： $$ Q.E.D.

若对 $$ 使用 Jensen 不等式，得到： $$ 若对 $$ 使用 Jensen 不等式，得到： $$

均值不等式：设 $$ 均为正数，令： $$ 则： $$ Proof. 我们可以利用 Jensen 不等式完成证明。设随机变量 $$ 取值范围为 $$ 且各取值概率相等，由于 $$ 是凹函数，所以： $$ Q.E.D.

协方差不等式 - Ⅱ：设 $$ 是任意随机变量，$$ 是任意函数且 $$ 与 $$ 均存在，

1. 若 $$ 是递增函数，$$ 是递减函数，则 $$

2. 若 $$ 同为递增或递减函数，则 $$

协方差不等式有明显的直观解释：上面两种情形恰好反映了 $$ 之间的负相关和正相关，借助该不等式我们可以直接估计期望，而无需计算高阶矩。