矩母函数与特征函数

矩母函数

矩母函数的定义

设 $X$ 为一个随机变量，其矩母函数（Moment-Generating Function, MGF）定义为： $$M_X(t)=\mathbb{E}[e^{tX}]=\{\begin{array}{ll}{\displaystyle \sum _x{e}^{tx}{p}_X(x)}& \text{discrete}\\ {\displaystyle {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{tx}{f}_X(x)\mathrm{d}x}& \text{continuous}\end{array}$$ 前提是该期望存在。

可以看到，在连续随机变量情形下，$M_X(-t)$ 是概率密度函数 $f_X(x)$ 的双边拉普拉斯变换。

用矩母函数生成矩

矩母函数可以用于生成矩。具体而言，矩母函数在 $t=0$ 处的 $n$ 阶导数就是 $X$ 的 $n$ 阶矩： $$M_X^{(n)}(t)=\frac{{\mathrm{d}}^n}{\mathrm{d}{t}^n}\mathbb{E}[e^{tX}]=\mathbb{E}\left[\frac{{\mathrm{d}}^n}{\mathrm{d}{t}^n}{e}^{tX}\right]=\mathbb{E}[X^n{e}^{tX}]⟹M_X^{(n)}(0)=\mathbb{E}[X^n]$$ 例如： $$M_X(0)=1,M_X^{\prime }(0)=\mathbb{E}[X],M_X^{″}(0)=\mathbb{E}[X^2]$$ 也可以从泰勒展开的角度理解这一性质： $$M_X(t)=\mathbb{E}[e^{tX}]=\mathbb{E}[1+tX+\frac{t^2{X}^2}{2!}+\frac{t^3{X}^3}{3!}+\cdots ]=1+t{m}_1+\frac{t^2}{2!}{m}_2+\frac{t^3}{3!}{m}_3+\cdots$$ 其中，$m_k$ 表示 $X$ 的 $k$ 阶矩。

独立随机变量的和

矩母函数可以用于计算独立随机变量的和的统计量。

设 $X,Y$ 是相互独立的随机变量，矩母函数分别为 $M_X(t),M_Y(t)$，设 $Z=X+Y$，则： $$M_Z(t)=\mathbb{E}[e^{tZ}]=\mathbb{E}[e^{t(X+Y)}]=\mathbb{E}[e^{tX}{e}^{tY}]=\mathbb{E}[e^{tX}]\mathbb{E}[e^{tY}]=M_X(t)M_Y(t)$$ 也就是说，两个独立随机变量相加，对应于二者的矩母函数相乘。我们知道独立随机变量之和的概率密度是二者的卷积，但卷积计算起来很麻烦，如果我们只需要结果的统计量（数字特征）而不需要具体的概率分布，用矩母函数就方便很多。

进一步地，对于 $n$ 个相互独立的随机变量 $X_1,X_2,\dots ,X_n$，设 $Y=X_1+X_2+\cdots +X_n$，则有： $$M_Y(t)=M_{X_1}(t)M_{X_2}(t)\cdots M_{X_n}(t)$$

矩母函数的其他性质

设随机变量 $$ 的矩母函数为 $$，则：

• 设 $$，其中 $$ 为常数，则 $$.
• 设 $$，其中 $$ 为常数，则 $$.

矩母函数的例子

二项分布：设 $$，则： $$ 二项分布的和：设 $$，则： $$ 因此 $$.

泊松分布：设 $$​，则： $$ 泊松分布的和：设 $$，则： $$ 因此 $$.

标准正态分布：设 $$，则： $$ 正态分布：设 $$，则： $$ 指数分布：设 $$​，则： $$

特征函数

复随机变量

设 $$ 均为实值随机变量，称 $$ 为一复随机变量，且定义其期望为 $$.

特别地，对于复随机变量 $$，有： $$

特征函数的定义

设 $$ 是一个随机变量，其特征函数（Characteristic Function）定义为： $$ 当概率密度函数 $$ 存在时，有： $$

与矩母函数不同的是，特征函数总是存在的。

特征函数可以视为 $$ 的矩母函数，或 $$ 在虚数轴上求得的矩母函数，即： $$ 另外可以看到，在连续随机变量情形下，特征函数 $$ 是概率密度函数 $$ 的（共轭）傅立叶变换。

多元特征函数的定义

若 $$ 是一个 $$ 元随机向量，则其特征函数定义为： $$ 其中 $$​.

特征函数的性质

特征函数有很多与矩母函数类似的性质。

1. $$，并且 $$；

2. $$ 在 $$ 上一致连续；

3. 若 $$ 存在，则 $$，特别有 $$；

4. $$ 是非负定的，即对于任意正整数 $$ 和任意实数 $$ 与复数 $$，都有： $$

5. 设 $$ 相互独立，$$，则： $$

6. 反演定理。设随机变量 $$ 的分布函数为 $$，特征函数为 $$，设 $$ 是分布函数的连续点，则： $$ 特别地，如果 $$ 为连续型随机变量，密度函数为 $$，则： $$

7. 唯一性定理。若两个随机变量有着相同的特征函数，则他们的概率分布也相同，即 $$ 到 $$ 的变换是一一对应的。

8. 设有随机变量序列 $$，其分布函数序列和特征函数序列分别为 $$，则： $$

特征函数的例子

常见分布的矩母函数和特征函数如下表所示（截图自维基百科）：

参考资料

1. Scott Sheffield. 18.440: Lecture 27 Moment generating functions and characteristic functions. MIT. link ↩︎
2. 孙应飞. 中国科学院大学随机过程讲稿 ↩︎
3. 维基百科. 矩生成函数. link ↩︎
4. 维基百科. 特征函数 (概率论). link ↩︎