[UCAS随机过程]1·随机过程及其分类
\[ \newcommand{\coloneqq}{\mathrel{\mathrel{\vcenter{:}}=}} \]
在概率论中，我们研究了随机变量，\(n\) 维随机向量。在极限定理中我们研究了无穷多个随机变量，但只局限在它们之间相互独立的情形。将上述情形加以推广，即研究一族无穷多个、相互有关的随机变量，这就是随机过程。
随机过程的概念
设 \((\Omega,\Sigma,P)\) 是一概率空间，对每一个参数 \(t\in T\)，\(X(t,\omega)\) 是一定义在概率空间 \((\Omega,\Sigma,P)\) 上的随机变量，则称随机变量族 \(X_T=\{X(t,\omega);t\in T\}\) 为该概率空间上的一随机过程。其中 \(T\subset\mathbb R\) 是一实数集，称为指标集或参数集。
用映射表示 \(X_T\)： \[ X(t,\omega): T\times\Omega\to\mathbb R \]
- 固定 \(t\in T\)，\(X(t,\cdot)\) 是一定义在样本空间 \(\Omega\) 上的函数，即为一随机变量；
- 固定 \(\omega\in\Omega\)，\(X(\cdot,\omega)\) 是一个关于参数 \(t\in T\) 的函数，称作样本函数，或随机过程的一次实现。
记号 \(X(t,\omega)\) 常常简记为 \(X_t(\omega)\) 或 \(X(t)\).
随机过程 \(\{X(t);t\in T\}\) 可能取值的全体所构成的集合称为此随机过程的状态空间，记为 \(S\).
随机过程的分类
以参数集和状态空间的特性分类：参数集 \(T\) 可分为可列与不可列两大类；状态空间 \(S\) 可分为离散和连续两大类。因此随机过程可分为以下四类：
- 离散参数离散型随机过程（例如随机游走）；
- 连续参数离散型随机过程（例如泊松过程中到达顾客数 \(N(t)\)）；
- 连续参数连续型随机过程（例如布朗运动）；
- 离散参数连续型随机过程（例如泊松过程中顾客到达时刻 \(S_n\)）。
以随机过程的统计特征或概率特征分类：一般有以下一些：
- 独立增量过程；
- Markov 过程；
- 二阶矩过程；
- 平稳过程；
- 鞅；
- 更新过程；
- Poisson 过程；
- 维纳过程。
随机过程的数字特征
单个随机过程情形
设 \(\{X(t);t\in T\}\) 是一随机过程，为了刻画其统计特性，通常用到随机过程的数字特征，即随机过程的均值函数、方差函数、协方差函数和相关函数。
均值函数（假设存在）： \[ \mu_X(t)\coloneqq m(t)=\mathbb E[X(t)] \] 方差函数（假设存在）： \[ \sigma^2_X(t)\coloneqq D_X(t)=\mathbb E\left[(X(t)-\mu_X(t))^2\right] \] (自) 协方差函数： \[ C_X(s,t)\coloneqq \mathbb E[(X(s)-\mu_X(s))(X(t)-\mu_X(t))] \] (自) 相关函数： \[ R_X(s,t)\coloneqq \mathbb E[X(s)X(t)] \] 有限维特征函数族： \[ \phi_X(u_1,\ldots,u_n;t_1,\ldots,t_n)=\mathbb E\left[e^{i(u_1X(t_1)+\cdots+u_nX(t_n))}\right] \] 数字特征之间的关系： \[ \begin{gather} C_X(s,t)=R_X(s,t)-\mu_X(s)\mu_X(t)\\ \sigma^2_X(t)=D_X(t)=C_X(t,t)=R_X(t,t)-[\mu_X(t)]^2 \end{gather} \]
两个随机过程情形
设 \(\{X(t);t\in T\},\,\{Y(t);t\in T\}\) 是两个随机过程，它们具有相同的参数集。除了各自的数字特征外，还有：
互协方差函数： \[ C_{XY}(s,t)\coloneqq\mathbb E[(X(s)-\mu_X(s))(Y(t)-\mu_Y(t))] \] 互相关函数： \[ R_{XY}(s,t)\coloneqq\mathbb E[X(s)Y(t)] \] 二者有关系： \[ C_{XY}(s,t)=R_{XY}(s,t)-\mu_X(s)\mu_Y(t) \] 若两个随机过程对任意两个参数 \(s,t\in T\)，都有 \(C_{XY}(s,t)=0\)，则称这两个随机过程统计不相关。
有限维分布族
设 \(\{X(t);t\in T\}\) 是一随机过程，记： \[ F_X(x_1,x_2,\ldots,x_n;t_1,t_2,\ldots,t_n)=P\{X(t_1)\leq x_1,X(t_2)\leq x_2,\ldots,X(t_n)\leq x_n\} \] 其全体 \[ \{F_X(x_1,x_2,\ldots,x_n;t_1,t_2,\ldots,t_n),\,t_1,t_2,\ldots,t_n\in T,\,n\geq 1\} \] 称为随机过程的有限维分布族。随机过程的统计特性完全由它的有限维分布族决定，有限维分布族与有限维特征函数族相互唯一确定。
有限维分布族具有以下的性质：
对称性：对 \((1,2,\ldots,n)\) 的任意排列 \((j_1,j_2,\ldots,j_n)\)，有： \[ F_X(x_1,x_2,\ldots,x_n;t_1,t_2,\ldots,t_n)=F_X(x_{j_1},x_{j_2},\ldots,x_{j_n};t_{j_1},t_{j_2},\ldots,t_{j_n}) \]
相容性：对于 \(m<n\)，有： \[ F_X(x_1,x_2,\ldots,x_m,+\infty,\ldots,+\infty;t_1,t_2,\ldots,t_m,t_{m+1},\ldots,t_n)=F_X(x_1,x_2,\ldots,x_m;t_1,t_2,\ldots,t_m) \]
Kolmogorov 存在性定理：设分布函数族 \(\{F_X(x_1,x_2,\ldots,x_n;t_1,t_2,\ldots,t_n),\,t_1,t_2,\ldots,t_n\in T,\,n\geq 1\}\) 满足对称性和相容性，则存在唯一的随机过程使得该分布函数族恰好是其有限维分布。
定理说明了随机过程的有限维分布族包含了随机过程的所有概率信息。因此，研究随机过程的统计特征可以通过研究其有限维分布函数族的特性来达到。
分布列的 \(\delta\) 函数表示
设离散型随机变量 \(X\) 的分布列为 \(P(X=x_i)=p_i,\,i=1,2,\ldots\)，则利用 Dirac \(\delta\) 函数，其分布函数可以表示为： \[ F(x)=P(X\leq x)=\sum_{x_i\leq x}p_i=\int_0^x\sum_{i=1}^\infty p_i\delta(u-x_i)\mathrm du \] 故而密度函数可以表示为： \[ f(x)=\sum_{i=1}^\infty p_i\delta(x-x_i) \] 工程上，常用离散型随机变量分布列的 \(\delta\) 函数表示法。它将离散型随机变量的分布列表示成分布密度的形式，因此与连续型随机变量的概率分布密度函数一样，可以进行统一处理。
条件数学期望
设 \(X,Y\) 是随机变量，则 \(\mathbb E[X\vert Y=y]\) 是一个数，因而条件数学期望 \(\mathbb E[X\vert Y]\) 是关于随机变量 \(Y\) 的函数，也是一个随机变量。
全期望公式： \[ \mathbb EX=\mathbb E[\mathbb E[X\vert Y]] \]
用途：当 \(\mathbb EX\) 不好求时，引入 \(Y\)，转而计算 \(\mathbb E[\mathbb E[X\vert Y]]\).
性质：
- \(\mathbb E[\sum_{i=1}^na_iX_i\vert Y]=\sum_{i=1}^na_i\mathbb E[X_i\vert Y]\)
- \(\mathbb E[g(X)h(Y)\vert Y]=h(Y)\mathbb E[g(X)\vert Y]\)
- \(\mathbb E[g(X)h(Y)]=\mathbb E[h(Y)\mathbb E[g(X)\vert Y]]\)
- 若 \(X,Y\) 独立，则 \(\mathbb E[X\vert Y]=\mathbb E[X]\)