[统计推断]第三章·常见分布族(二)
\[ \newcommand{\E}{\mathbb E} \newcommand{\Var}{\mathrm{Var}} \newcommand{\Beta}{\mathrm{B}} \]
本篇列举常见的连续分布。
1 均匀分布
\[ f(x\vert a,b)=\begin{cases}\frac{1}{b-a},&x\in[a,b]\\0,&x\notin [a,b]\end{cases} \]
期望: \[\E X=\int_a^b\frac{x}{b-a}\mathrm dx=\frac{a+b}{2}\]
方差 \[\Var X=\int_a^b\frac{\left(x-\frac{a+b}{2}\right)^2}{b-a}\mathrm dx=\frac{(a-b)^2}{12}\]
2 伽玛分布
\(\Gamma\) 函数: \[ \Gamma(\alpha)=\int_0^{+\infty}t^{\alpha-1}e^{-t}\mathrm dt \] 利用分部积分法易得递推式: \[ \Gamma(\alpha+1)=\alpha\Gamma(\alpha),\quad \alpha>0 \] 又 \(\Gamma(1)=1\),因此对于正整数 \(n\),\(\Gamma(n)=(n-1)!\).
基于 \(\Gamma\) 函数,可以定义参数为 \((\alpha,\beta)\) 的伽玛分布族: \[ f(x\vert \alpha,\beta)=\frac{1}{\Gamma(\alpha)\beta^\alpha}x^{\alpha-1}e^{-x/\beta},\quad 0<x<+\infty,\,\alpha>0,\,\beta>0 \] 其中 \(\alpha\) 主要影响分布的峰起状态,称为形状参数;\(\beta\) 主要影响分布的散度情况,称为尺度参数;记该分布为 \(\text{Gamma}(\alpha,\beta)\).
期望 \[\begin{align}\E X&=\frac{1}{\Gamma(\alpha)\beta^\alpha}\int_0^{+\infty}x^{\alpha}e^{-x/\beta}\mathrm dx\\&=\frac{\beta}{\Gamma(\alpha)}\int_0^{+\infty}t^{\alpha}e^{-t}\mathrm dt&&t=x/\beta\\&=\frac{\beta}{\Gamma(\alpha)}\Gamma(\alpha+1)\\&=\alpha\beta\end{align}\]
二阶矩 \[\begin{align}\E X^2&=\frac{1}{\Gamma(\alpha)\beta^\alpha}\int_0^{+\infty}x^{\alpha+1} e^{-x/\beta}\mathrm dx\\&=\frac{\beta^2}{\Gamma(\alpha)}\int_0^{+\infty}t^{\alpha+1} e^{-t}\mathrm dt&&t=x/\beta\\&=\frac{\beta^2}{\Gamma(\alpha)}\Gamma(\alpha+2)\\&=\alpha(\alpha+1)\beta^2\end{align}\]
方差 \[\Var X=\E X^2-(\E X)^2=\alpha\beta^2\]
矩母函数:第二章已经推导过了 \[M_X(t)=\left(\frac{1}{1-\beta t}\right)^\alpha,\quad t<\frac{1}{\beta}\]
伽玛分布与泊松分布:设 \(X\) 是参数为 \((\alpha,\beta)\) 的伽玛随机变量,其中 \(\alpha\) 为整数,\(Y\) 服从参数为 \((x/\beta)\) 的泊松分布,则对任意 \(x\),都有: \[ P(X\leq x)=P(Y\geq \alpha) \] Proof. 反复运用分部积分法。
3 \(\chi^2\) 分布
在伽玛分布中,若令 \(\alpha=p/2,\,\beta=2\),其中 \(p\) 是整数,则伽玛概率密度函数变为: \[ f(x\vert p)=\frac{1}{\Gamma(p/2)2^{p/2}}x^{p/2-1}e^{-x/2},\quad 0<x<\infty \] 这是自由度为 \(p\) 的 \(\chi^2\) 概率密度函数。
4 指数分布
在伽玛分布中,若令 \(\alpha=1\),则得到指数概率密度函数: \[ f(x\vert \beta)=\frac{1}{\beta}e^{-x/\beta},\quad 0<x<\infty \]
期望(分部积分易得) \[\E X=\beta\]
方差(分部积分易得) \[\Var X=\beta^2\]
无记忆性:对任意 \(s>t\geq 0\),有 \[P(X>s\vert X>t)=P(X>s-t)\]
5 Weibull 分布
设 \(X\) 服从参数为 \(\beta\) 的指数分布,则 \(Y=X^{1/\gamma}\) 服从参数为 \((\gamma,\beta)\) 的 Weibull 分布,即其概率密度函数为: \[ f(y\vert \gamma,\beta)=\frac{\gamma}{\beta}y^{\gamma-1}e^{-y^\gamma/\beta},\quad 0<y<\infty,\,\gamma>0,\,\beta>0 \]
推导:由于 \(y=g(x)=x^{1/\gamma}\) 是单调函数,根据第二章的结论可知: \[ f_Y(y)=f_X(g^{-1}(y))\left|\frac{\mathrm d}{\mathrm dy}g^{-1}(y)\right|=\frac{\gamma}{\beta}y^{\gamma-1}e^{-y^\gamma/\beta} \]
Weibull 分布广泛引用于寿命分析和危险率函数的建模。
6 正态分布
\(X\) 服从参数为 \((\mu,\sigma^2)\) 的正态分布: \[ f(x\vert \mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}\exp\frac{-(x-\mu)^2}{2\sigma^2},\quad -\infty<x<+\infty \] 记作 \(N(\mu,\sigma^2)\).
验证上述概率密度函数积分为 \(1\) 需要一些技巧,一个常见的证法是转换为二重积分。首先,作变量代换 \(z=(x-\mu)/\sigma\),则易知我们只需要证明: \[ \int_0^{+\infty}e^{-z^2/2}\mathrm dz=\sqrt{\frac{\pi}{2}} \] 我们计算其平方并使用极坐标换元: \[ \begin{align} \left(\int_0^{+\infty}e^{-z^2/2}\mathrm dz\right)^2&=\left(\int_0^{+\infty}e^{-t^2/2}\mathrm dt\right)\left(\int_0^{+\infty}e^{-u^2/2}\mathrm du\right)\\ &=\int_0^{+\infty}\int_0^{+\infty}e^{-(t^2+u^2)/2}\mathrm dt\mathrm du\\ &=\int_0^{+\infty}\int_0^{\pi/2}re^{-r^2/2}\mathrm d\theta\mathrm dr\\ &=\frac{\pi}{2}\left.e^{-r^2/2}\right|_{+\infty}^0=\frac{\pi}{2} \end{align} \] 事实上,若令 \(w=z^2/2\),则上述积分本质是 \(\Gamma(1/2)\),即: \[ \Gamma(1/2)=\int_0^{+\infty}w^{-1/2}e^{-w}\mathrm dw=\sqrt\pi \]
期望 \[\E X=\mu\]
方差 \[\Var X=\sigma^2\]
矩母函数 \[\begin{align}M_X(t)&=\E[e^{tX}]\\&=\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{+\infty}e^{tx}e^{-{(x-\mu)^2}/{2\sigma^2}}\mathrm dx\\&=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}e^{t(\sigma s+\mu)}e^{-{s^2}/{2}}\mathrm ds&&s=(x-\mu)/\sigma\\&=\frac{e^{t\mu}}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}e^{t^2\sigma^2/2}e^{-{(s-t\sigma)^2}/{2}}\mathrm ds\\&=e^{\mu t+\sigma^2t^2/2}\end{align}\]
对正态分布的概率密度函数求导易知,其在 \(x=\mu\) 处取得极值,\(\mu\pm\sigma\) 是拐点。
正态分布常用于近似其他分布,但怎样的近似足够好并无绝对的标准。以二项分布为例,经验上当 \(\min(np,n(1-p))\geq 5\) 时,可使用 \(N(np, np(1-p))\) 近似 \(\text{Binomial}(n,p)\).
但由于二项分布是离散分布,在近似时使用连续性校正可以使近似更精确:设 \(X\sim\text{Binomial}(n,p)\),\(Y\sim N(np,np(1-p))\),则: \[ P(X\leq x)\approx P(Y\leq x+1/2)\quad P(X\geq x)\approx P(Y\geq x-1/2) \]
7 贝塔分布
\(\Beta\) 函数: \[ \Beta(\alpha,\beta)=\int_0^1 x^{\alpha-1}(1-x)^{\beta-1}\mathrm dx \] \(\Beta\) 函数和 \(\Gamma\) 函数的关系: \[ \Beta(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)} \] 一般不直接处理 \(\Beta\) 函数,而是用这个关系式转化成 \(\Gamma\) 函数。
贝塔分布: \[ f(x\vert\alpha,\beta)=\frac{1}{\Beta(\alpha,\beta)}x^{\alpha-1}(1-x)^{\beta-1},\quad 0<x<1,\,\alpha>0,\,\beta>0 \]
\(n\) 阶矩 \[\begin{align}\E X^n&=\frac{1}{\Beta(\alpha,\beta)}\int_0^1 x^nx^{\alpha-1}(1-x)^{\beta-1}\mathrm dx\\&=\frac{\Beta(\alpha+n,\beta)}{\Beta(\alpha,\beta)}\\&=\frac{\Gamma(\alpha+n)\Gamma(\alpha+\beta)}{\Gamma(\alpha+\beta+n)\Gamma(\alpha)}\end{align}\]
期望 \[\E X=\frac{\Gamma(\alpha+1)\Gamma(\alpha+\beta)}{\Gamma(\alpha+\beta+1)\Gamma(\alpha)}=\frac{\alpha}{\alpha+\beta}\]
二阶矩 \[\E X^2=\frac{\Gamma(\alpha+2)\Gamma(\alpha+\beta)}{\Gamma(\alpha+\beta+2)\Gamma(\alpha)}=\frac{(\alpha+1)\alpha}{(\alpha+\beta+1)(\alpha+\beta)}\]
方差 \[\Var X=\E X^2-(\E X)^2=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}\]
![Beta densities](beta1.png)
![Symmetric beta densities](beta2.png)
8 柯西分布
柯西分布是 \((-\infty,+\infty)\) 上的一类对称钟形分布,概率密度函数为: \[ f(x\vert \theta)=\frac{1}{\pi}\frac{1}{1+(x-\theta)^2},\quad-\infty<x<+\infty,\,-\infty<\theta<+\infty \] 第二章已经证明过,柯西分布期望不存在,于是任意阶矩也不存在,矩母函数亦不存在。
两个标准正态分布之比就是柯西分布。
9 对数正态分布
若 \(\log X\sim N(\mu,\sigma^2)\),则称 \(X\) 服从对数正态分布。利用第二章随机变量的单调函数相关结论,易知: \[ f(x\vert\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}\frac{1}{x}\exp\frac{-(\log x-\mu)^2}{2\sigma^2},\quad 0<x<+\infty,\,-\infty<\mu<+\infty,\,\sigma>0 \]
期望:设 \(Y=\log X\sim N(\mu,\sigma^2)\),则: \[\E X=\E e^{\log X}=\E e^Y=M_Y(1)=e^{\mu+\sigma^2/2}\]
二阶矩 \[\E X^2=\E e^{2\log X}=\E e^{2Y}=M_Y(2)=e^{2\mu+2\sigma^2}\]
方差 \[\Var X=\E X^2-(\E X)^2=e^{2\mu+2\sigma^2}-e^{2\mu+\sigma^2}\]
对数正态分布广泛应用于右偏变量的建模,例如工资。
10 双指数分布
将指数分布关于原点作对称并平移 \(\mu\) 个单位,就得到了双指数分布,其概率密度函数为: \[ f(x\vert \mu,\sigma)=\frac{1}{2\sigma}e^{-|x-\mu|/\sigma},\quad -\infty<x<+\infty,\,-\infty<\mu<+\infty,\,\sigma>0 \] 双指数分布是尾部很粗的对称分布,任意阶矩都存在。
期望 \[\begin{align}\E X&=\frac{1}{2\sigma}\int_{-\infty}^{+\infty}xe^{-|x-\mu|/\sigma}\mathrm dx\\&=\frac{1}{2\sigma}\left(\int_{\mu}^{+\infty}xe^{-(x-\mu)/\sigma}\mathrm dx+\int_{-\infty}^{\mu}xe^{(x-\mu)/\sigma}\mathrm dx\right)\\&=\mu\end{align}\]
方差 \[\Var X=2\sigma^2\]