[统计推断]第三章·常见分布族（一）

\[ \newcommand{\E}{\mathbb E} \newcommand{\Var}{\mathrm{Var}} \newcommand{\Beta}{\mathrm{B}} \]

本篇列举常见的离散分布。

由于含参分布依赖于参数的取值，我们将参数记于 pmf、pdf、cdf 或期望中并以 \(\vert\) 为引导符。在不会引发混淆时可以略去参数以简化记号。

1 离散均匀分布

称随机变量 \(X\) 服从参数为 \((1,N)\) 的离散均匀分布，若： \[ P(X=x\vert N)=\frac{1}{N},\quad x=1,2,\ldots,N \]

期望 \[\E X=\sum_{x=1}^Nx\frac{1}{N}=\frac{N+1}{2}\]

二阶矩 \[\E X^2=\sum_{x=1}^N x^2\frac{1}{N}=\frac{(N+1)(2N+1)}{6}\]

方差 \[\Var X=\E X^2-(\E X)^2=\frac{(N+1)(N-1)}{12}\]

2 超几何分布

超几何分布可以从经典的摸球游戏中导出：设有 \(N\) 个小球，其中 \(M\) 个红球，\(N-M\) 个绿球，随机取出 \(K\) 个球（一次性无放回），恰好摸出 \(x\) 个红球的概率是多少？ \[ P(X=x\vert N, M, K)=\frac{\binom{M}{x}\binom{N-M}{K-x}}{\binom{N}{K}},\quad x=0,1,\ldots,K \] 称满足上式的随机变量 \(X\) 服从超几何分布。

期望 \[\begin{align}\E X&=\sum_{x=0}^Kx\frac{\binom{M}{x}\binom{N-M}{K-x}}{\binom{N}{K}}\\&=\sum_{x=1}^Kx\frac{\binom{M}{x}\binom{N-M}{K-x}}{\binom{N}{K}}\\&=\sum_{x=1}^K\frac{M\binom{M-1}{x-1}\binom{N-M}{K-x}}{\frac{N}{K}\binom{N-1}{K-1}}\\&=\frac{KM}{N}\sum_{y=0}^{K-1}\frac{\binom{M-1}{y}\binom{N-M}{K-1-y}}{\binom{N-1}{K-1}}&&y=x-1\\&=\frac{KM}{N}\end{align}\]

最后一个等式是因为和式是对参数为 \(N-1,M-1,K-1\) 的另一个超几何分布求和。另外，推导过程还利用了组合恒等式 \(x\binom{M}{x}=M\binom{M-1}{x-1}\) 和 \(\binom{N}{K}=\frac{N}{K}\binom{N-1}{K-1}\).

二阶矩 \[\begin{align}\E[X^2]&=\sum_{x=0}^Kx^2\frac{\binom{M}{x}\binom{N-M}{K-x}}{\binom{N}{K}}\\&=\frac{KM}{N}\sum_{x=1}^Kx\frac{\binom{M-1}{x-1}\binom{N-M}{K-x}}{\binom{N-1}{K-1}}\\&=\frac{KM}{N}\left[\sum_{y=0}^{K-1}\frac{\binom{M-1}{y}\binom{N-M}{K-1-y}}{\binom{N-1}{K-1}}+\sum_{y=0}^{K-1}y\frac{\binom{M-1}{y}\binom{N-M}{K-1-y}}{\binom{N-1}{K-1}}\right]\\&=\frac{KM}{N}\left[1+\frac{(K-1)(M-1)}{N-1}\right]\end{align}\]

方差 \[\Var X=\E[X^2]-(\E X)^2=\frac{KM}{N}\frac{(N-M)(N-K)}{N(N-1)}\]

3 伯努利分布 & 二项分布

称随机变量 \(X\) 服从参数为 \(p\) 的伯努利分布，若： \[ P(X=0\vert p)=1-p,\quad P(X=1\vert p)=p \] 记作 \(\text{Bernoulli}(p)\).

期望 \[\E X=1\cdot p+0\cdot(1-p)=p\]

方差 \[\Var X=(1-p)^2\cdot p+(0-p)^2\cdot(1-p)=p(1-p)\]

进行 \(n\) 次相同的伯努利试验，考虑出现 \(x\) 次成功试验的概率，可以导出二项分布： \[ P(X=x\vert n,p)=\binom{n}{x}p^x(1-p)^{n-x},\quad x=0,1,2,\ldots,n \] 记作 \(\text{Binomial}(n,p)\) 或 \(B(n,p)\).

期望 \[\begin{align}\E X&=\sum_{x=0}^nx\binom{n}{x}p^x(1-p)^{n-x}\\&=\sum_{x=1}^nx\binom{n}{x}p^x(1-p)^{n-x}\\&=n\sum_{x=1}^n \binom{n-1}{x-1}p^x(1-p)^{n-x}\\&=np\sum_{y=0}^{n-1} \binom{n-1}{y}p^{y}(1-p)^{n-1-y}&&y=x-1\\&=np\end{align}\]

二阶矩 \[\begin{align}\E X^2&=\sum_{x=0}^n x^2\binom{n}{x}p^x(1-p)^{n-x}\\&=n\sum_{x=1}^n x\binom{n-1}{x-1}p^x(1-p)^{n-x}\\&=n\left[\sum_{x=1}^n (x-1)\binom{n-1}{x-1}p^x(1-p)^{n-x}+\sum_{x=1}^n\binom{n-1}{x-1}p^x(1-p)^{n-x}\right]\\&=n[(n-1)p^2+p]\\&=np(np-p+1)\end{align}\]

方差 \[\Var X=\E X^2-(\E X)^2=n^2p^2-np^2+np-n^2p^2=np(1-p)\]

4 泊松分布

称取值非负整数的随机变量 \(X\) 服从参数为 \(\lambda\) 的泊松分布，若： \[ P(X=x\vert \lambda)=\frac{e^{-\lambda}\lambda^x}{x!},\quad x=0,1,\ldots \] 泊松分布有着广泛的应用，其基本假设是：在较短的时间段内，事物出现的概率与等待时间成正比。更正式地说，设 \(N_t\) 表示 \(0\) 到 \(t\) 时间段内对象到达的次数，且：

1. \(N_0=0\)（0 时刻无对象到达）
2. \(s<t\) \(\implies\) \(N_s\) 与 \(N_t-N_s\) 相互独立（不交时间段的到达行为无关）
3. \(N_s\) 与 \(N_{t+s}-N_t\) 的分布相同（对象到达的数量只与时间长度有关）
4. \(\lim_{t\to0}\frac{P(N_t=1)}{t}=\lambda\)（当时段长度很小时，到达概率与时间长度成正比）
5. \(\lim_{t\to 1}\frac{P(N_t>1)}{t}=0\)（不存在同时到达的现象）

若上述条件均成立，则对任意整数 \(n\)，有： \[ P(N_t=n)=e^{-\lambda t}\frac{(\lambda t)^n}{n!} \] 即 \(N_t\sim \text{Poisson}(\lambda t)\).

期望 \[\begin{align}\E X&=\sum_{x=0}^{+\infty} x\frac{e^{-\lambda}\lambda^x}{x!}\\&=\sum_{x=1}^{+\infty} x\frac{e^{-\lambda}\lambda^x}{x!}\\&=\lambda\sum_{y=0}^{+\infty}\frac{e^{-\lambda}\lambda^y}{y!}&&y=x-1\\&=\lambda\end{align}\]

二阶矩 \[\begin{align}\E X^2&=\sum_{x=0}^{+\infty}x^2\frac{e^{-\lambda}\lambda^x}{x!}\\&=\lambda\sum_{y=0}^{+\infty}(y+1)\frac{e^{-\lambda}\lambda^y}{y!}\\&=\lambda\left[\sum_{y=0}^{+\infty}y\frac{e^{-\lambda}\lambda^y}{y!}+\sum_{y=0}^{+\infty}\frac{e^{-\lambda}\lambda^y}{y!}\right]\\&=\lambda(\lambda+1)\end{align}\]

方差 \[\Var X=\E X^2-(\E X)^2=\lambda(\lambda+1)-\lambda^2=\lambda\]

矩母函数 \[\begin{align}M_X(t)&=\E[e^{tX}]\\&=\sum_{x=0}^{+\infty}e^{tx}\frac{e^{-\lambda}\lambda^x}{x!}\\&=e^{-\lambda}\sum_{x=0}^{+\infty}\frac{(e^t\lambda)^x}{x!}\\&=e^{-\lambda}\cdot e^{e^t\lambda}&&\text{Taylor's Formula}\\&=e^{\lambda(e^t-1)}\end{align}\]

递推式 \[P(X=x\vert\lambda)=\frac{\lambda}{x}P(X=x-1\vert\lambda),\quad x=1,2,\ldots\]

例【等待现象】设一个话务员每 3 分钟接 5 个电话，问下一分钟没有电话的概率是多少？至少有两个电话概率是多少？

设随机变量 \(X\) 是一分钟内电话的个数，则 \(X\) 服从泊松分布且 \(\E X=\lambda=5/3\)。于是， \[P(\text{一分钟内没有电话})=P(X=0)=\frac{e^{-5/3}(5/3)^0}{0!}=e^{-5/3}=0.189\]

\[P(\text{一分钟内至少两个电话})=1-P(X=0)-P(X=1)=\cdots=0.496\]

5 负二项分布

二项分布讨论的是在指定数量的伯努利试验中成功试验的个数，而负二项分布讨论的是为了得到指定数量的成功试验所需伯努利试验的个数。

设有一列独立的成功概率为 \(p\) 的伯努利试验，记随机变量 \(X\) 表示该序列中第 \(r\) 个成功试验出现的位置（换句话说，得到第 \(r\) 个成功所需的试验个数），其中 \(r\) 是预先指定的整数，则： \[ P(X=x\vert r, p)=\binom{x-1}{r-1}p^r(1-p)^{x-r},\quad x=r,r+1,\ldots \] 称 \(X\) 服从参数为 \((r,p)\) 的负二项分布，记作 \(\text{NB}(r,p)\).

负二项分布还有另一种定义：记 \(Y\) 是得到第 \(r\) 个成功以前失败试验的个数，那么 \(Y=X-r\)，其本质和 \(X\) 是一样的，但概率质量函数变成： \[ P(Y=y\vert r,p)=\binom{r+y-1}{y}p^r(1-p)^{y},\quad y=0,1,\ldots \] 本书采用后一种定义。

根据负整数的二项系数定义：\(\binom{r+y-1}{y}=(-1)^y\binom{-r}{y}\)，可以把 pmf 进一步写作： \[ P(Y=y\vert r,p)=(-1)^y\binom{-r}{y}p^r(1-p)^{y} \]

期望 \[\begin{align}\E Y&=\sum_{y=0}^{+\infty}y\binom{r+y-1}{y}p^r(1-p)^y\\&=\sum_{y=1}^{+\infty}(-1)^yy\binom{-r}{y}p^r(1-p)^y\\&=r\sum_{y=1}^{+\infty}(-1)^{y-1}\binom{-r-1}{y-1}p^r(1-p)^y\\&=r\frac{1-p}{p}\sum_{z=0}^{+\infty}(-1)^{z}\binom{-r-1}{z}p^{r+1}(1-p)^{z}&&z=y-1\\&=r\frac{1-p}{p}\end{align}\]

最后一个等式是因为和式是对参数为 \((r+1,p)\) 的负二项分布 pmf 求和。注意组合恒等式 \(y\binom{r}{y}=r\binom{r-1}{y-1}\) 对负整数情况依然成立。

二阶矩 \[\begin{align}\E Y^2&=\sum_{y=0}^{+\infty}y^2\binom{r+y-1}{y}p^r(1-p)^y\\&=r\frac{1-p}{p}\left[\sum_{z=0}^{+\infty}(-1)^{z}z\binom{-r-1}{z}p^{r+1}(1-p)^{z}+\sum_{z=0}^{+\infty}(-1)^{z}\binom{-r-1}{z}p^{r+1}(1-p)^{z}\right]\\&=r\frac{1-p}{p}\left[(r+1)\frac{1-p}{p}+1\right]\end{align}\]

方差 \[\Var Y=\E Y^2-(\E Y)^2=r\frac{1-p}{p^2}\] 一个有趣的事实是： \[\Var Y=\E Y+\frac{1}{r}(\E Y)^2\] 即方差是期望的二次函数。

6 几何分布

几何分布是负二项分布的特例，即 \(r=1\) 的情形，可理解为直到第一次成功所需的试验个数。若 \(X\) 的概率质量函数为： \[ P(X=x\vert p)=p(1-p)^{x-1},\quad x=1,2,\ldots \] 称 \(X\) 服从参数为 \(p\) 的几何分布，记作 \(\text{Geometric}(p)\).

期望 \[\begin{align}\E X&=\sum_{x=1}^{+\infty}xp(1-p)^{x-1}\\&=(1-q)\sum_{x=1}^{+\infty}xq^{x-1}&&q=1-p\\&=(1-q)\frac{\mathrm d}{\mathrm dq}\sum_{x=1}^{+\infty} q^x\\&=(1-q)\frac{\mathrm d}{\mathrm dq}\left(\frac{q}{1-q}\right)\\&=\frac{1}{1-q}=\frac{1}{p}\end{align}\]

二阶矩 \[\begin{align}\E X^2&=\sum_{x=1}^{+\infty}x^2p(1-p)^{x-1}\\&=(1-q)\frac{\mathrm d}{\mathrm dq}\sum_{x=1}^{+\infty}xq^x&&q=1-p\\&=(1-q)\frac{\mathrm d}{\mathrm dq}\left(\frac{q}{(1-q)^2}\right)\\&=\frac{1+q}{(1-q)^2}=\frac{2-p}{p^2}\end{align}\]

方差 \[\Var X=\E X^2-(\E X)^2=\frac{1-p}{p^2}\]

无记忆性：对任意整数 \(s>t\)，有 \[P(X>s\vert X>t)=P(X>s-t)\]