顺序统计量

求概率密度的微元法

若随机变量 $X$ 的 PDF $f(x)$ 在 $x$ 处连续，则： $$f(x)=\underset{h\to 0}{lim}\frac{P(x<X\le x+h)}{h}$$ 或写作： $$P(x<X\le x+h)=f(x)h+o(h)$$ 若随机向量 $(X_1,\dots ,X_n)$ 的 PDF $f(x_1,\dots ,x_n)$ 在点 $(x_1,\dots ,x_n)$ 处连续，则： $$f(x_1,\dots ,x_n)=\underset{h_1,\dots ,h_n\to 0}{lim}\frac{P(x_1<X_1\le x_1+h_1,\dots ,x_n<X_n\le x_n+h_n)}{h_1\cdots h_n}$$ 或写作： $$P(x_1<X_1\le x_1+h_1,\dots ,x_n<X_n\le x_n+h_n)=f(x_1,\dots ,x_n)h_1\cdots h_n+o(h_1\cdots h_n)$$

顺序统计量的分布

定义（顺序统计量）：设 $X_1,\dots ,X_n$ 为独立同分布的随机变量，将它们按从小到大的顺序重新排列，得到 $$X_{(1)}\le \dots \le X_{(n)}$$ 称 $(X_{(1)},\dots ,X_{(n)})$ 为 $(X_1,\dots ,X_n)$ 的顺序统计量。

定理（顺序统计量的边缘分布）：设 $X_1,\dots ,X_n$ 为独立同分布的随机变量，它们的 PDF 为 $f(x)$ 且 $f$ 在 $x$ 处连续，则第 $k$ 个顺序统计量 $X_{(k)}$ 的 PDF 为： $$f_{X_{(k)}}(x)=k(\genfrac{}{}{0ex}{}{n}{k})[F(x){]}^{k-1}[1-F(x){]}^{n-k}f(x)$$

证明：考虑微元法， $$f_{X_{(k)}}(x)=\underset{h\to 0}{lim}\frac{P(x<X_{(k)}\le x+h)}{h}$$ 取充分小的 $h$ 使得 $X_{(k-1)}\le x<X_{(k)}\le x+h<X_{(k+1)}$，则有 $k-1$ 个随机变量取值小于等于 $x$，有 $1$ 个随机变量取值在 $x$ 和 $x+h$ 之间，剩下 $n-k$ 个随机变量取值大于 $x+h$，因此： $$\begin{array}{rl}P(x<X_{(k)}\le x+h)& =(\genfrac{}{}{0ex}{}{n}{k-1})(n-k+1)[F(x){]}^{k-1}[1-F(x){]}^{n-k}[F(x+h)-F(x))]\\ & =k(\genfrac{}{}{0ex}{}{n}{k})[F(x){]}^{k-1}[1-F(x){]}^{n-k}[F(x+h)-F(x))]\end{array}$$ 代入得： $$\begin{array}{rl}{f}_{X_{(k)}}(x)& =k(\genfrac{}{}{0ex}{}{n}{k})[F(x){]}^{k-1}[1-F(x){]}^{n-k}\underset{h\to 0}{lim}\frac{F(x+h)-F(x)}{h}\\ & =k(\genfrac{}{}{0ex}{}{n}{k})[F(x){]}^{k-1}[1-F(x){]}^{n-k}f(x)\end{array}$$ 证毕。

定理（顺序统计量的联合分布）：设 $X_1,\dots ,X_n$ 为独立同分布的随机变量，它们的 PDF 为 $f(x)$ 且 $f$ 在 $(x_1,\dots ,x_n)$ 处连续，则 $(X_{(1)},\dots ,X_{(n)})$ 的联合 PDF 为： $$f(x_1,\dots ,x_n)=\{\begin{array}{ll}{\displaystyle n!\prod _{i=1}^{n}f(x_i),}& x_1<\cdots <x_n\\ 0,& \text{otherwise}\end{array}$$

证明：考虑微元法， $$\begin{array}{rl}f(x_1,\dots ,x_n)& =\underset{h_1,\dots ,h_n\to 0}{lim}\frac{P(x_1<X_{(1)}\le x_1+h_1,\dots ,x_n<X_{(n)}<x_n+h_n)}{h_1\cdots h_n}\end{array}$$ 取充分小的 $h_1,\dots ,h_n$ 使得 $x_1<X_{(1)}\le x_1+h_1<x_2<\cdots \le x_{n-1}+h_{n-1}<x_n<X_{(n)}\le x_n+h_n$，则： $$P(x_1<X_{(1)}\le x_1+h_1,\dots ,x_n<X_{(n)}\le x_n+h_n)=n!\prod _{i=1}^n[F(x_i+h_i)-F(x_i)]$$ 代入得： $$f(x_1,\dots ,x_n)=n!\prod _{i=1}^n\underset{h_i\to 0}{lim}\frac{F(x_i+h_i)-F(x_i)}{h_i}=n!\prod _{i=1}^{n}f(x_i)$$ 证毕。

参考资料

1. 孙应飞. 中国科学院大学《随机过程》讲稿 ↩︎
2. 关于次序统计量的概率密度函数以及联合概率密度函数 - KujoStar-hmc的文章 - 知乎 https://zhuanlan.zhihu.com/p/595063134 ↩︎