[统计推断]第三章·常见分布族（三）

1 指数族

若一个概率密度函数族或概率质量函数族可以表示为： 则称之为指数族（exponential family）。其中 ， 是观测值 且不依赖于 的实值函数，， 是参数向量 且不依赖于 的实值函数。连续的正态分布族、伽玛分布族、贝塔分布族，离散的二项分布族、泊松分布族、负二项分布族都是指数族。

指数族的特殊形式决定了它具有很好的统计学性质：

定理：设随机变量 的 pdf 或 pmf 形如上式，则： 上面的公式虽然看似复杂，但应用时却很奏效，它们将积分与求和变成求导运算，而后者计算起来非常容易。

Proof.

  1. 对 求导，得到：

  2. 对上式求两次导，可证得第二式，过程略。

Q.E.D.

例子【二项分布】设 为正整数，： 取 由于我们限制了 ，，保证了 ，因此在给定 的情形下，二项分布族是一个指数族。

由于 故根据前文定理得： 解得：.

例子【正态分布】设 ，： 取 故正态分布族是指数族。

注意，在把概率密度/质量函数族写作 形式时，应保证 的定义域范围不变，我们可以借助示性函数将 的定义范围写入表达式。例如对于正态分布： 定义域有时候会比较 tricky。例如概率密度函数 虽然看起来很像指数族，但是由于 的定义范围 依赖于 ，故它并不是指数族。


如果对指数族定义式做一个变量替换 ，得到指数族的另一个形式： 称集合 为指数族的自然参数空间。对于任意 ，为保证概率密度函数积分为 ，必有 式比 式更为灵活和广泛，集合 是自然参数空间 的子集，而 中可能还存在其他的 值。


如果指数族 pdf 满足：，则称作曲指数族；如果 ，则称作完全指数族。

2 位置和尺度族

本节将构造三种分布族：位置族、尺度族、位置-尺度族，构造方法为：预先给定该分布族的一个标准 pdf ，然后用指定方法对其进行变换以得到该分布族的所有其他 pdf.

定理：设 是 pdf， 和 是任意给定参数，则函数 也是 pdf. 证明非常容易，略去。


位置族

设 是 pdf，则称 是标准 pdf 为 的位置族，称参数 为位置参数。

直观上就是将标准 pdf 向右平移了 个单位。


尺度族

设 是 pdf，则称 是标准 pdf 为 的尺度族，称参数 为尺度参数。

直观上就是将标准 pdf 横向拉伸了 倍并纵向压缩到原来的 。


位置-尺度族

设 是 pdf，则称 是标准 pdf 为 的位置-尺度族。

正态分布族和双指数分布族都是位置-尺度族的例子。

位置-尺度族的概率计算常通过标准化变量计算： 标准化变量的概率 常常容易计算或可查表得到。

3 不等式与恒等式

3.1 切比雪夫不等式

设 是随机变量， 是非负函数，则对任意 有 Proof. Q.E.D.


可能切比雪夫不等式更常见的形式不是上面这样，但可以从它推导出来：设 ，其中 . 取 ，代入 Chebychev 不等式得到： 即： 此不等式告诉我们随机变量偏离其均值的上界，无论 是什么分布。也正是因为它没有对分布作限制，这个结论往往比较保守。

3.2 马尔可夫不等式

若 且 ，则对任意 ，有

3.3 Stein 引理

设 ， 是满足 的可导函数，则： Proof. Q.E.D.


高阶正态矩：利用 Stein 引理可以简化计算高阶正态矩：设 ，则：

3.4 一个关于 随机变量的恒等式

设 是自由度为 的 随机变量，则对任意函数 ，有： 这里假定上述期望存在。

Proof. Q.E.D.


高阶 矩：利用上述恒等式可以简化计算高阶 矩：

3.5 Hwang 给出的两个恒等式

文献：Hwang, Jiunn Tzon. "Improving upon standard estimators in discrete exponential families with applications to Poisson and negative binomial cases." The Annals of Statistics (1982): 857-867.

设函数 满足 且 ，那么：

  1. 若 服从参数为 的 Poisson 分布，则：

  2. 若 服从参数为 的负二项分布，则：

Proof.

Q.E.D.


高阶 Poisson 矩：利用上述恒等式可以简化计算高阶 Poisson 矩：设 ，则： 故

课程书籍笔记 > 统计推断
#statistics
[统计推断]第三章·常见分布族（三）
https://xyfjason.github.io/blog-main/2022/03/06/统计推断-第三章·常见分布族（三）/
作者
xyfJASON
发布于
2022年3月6日
许可协议