[UCAS矩阵论]6.2广义逆矩阵的存在、性质及构造
广义逆的定义
定义:设矩阵 \(A\in\mathbb C^{m\times n}\),若矩阵 \(X\in\mathbb C^{n\times m}\) 满足如下四个 Penrose 方程: \[ \begin{align} &AXA=A\tag{1}\label{1}\\ &XAX=X\tag{2}\label{2}\\ &(AX)^H=AX\tag{3}\label{3}\\ &(XA)^H=XA\tag{4}\label{4}\\ \end{align} \]
则称 \(X\) 为 \(A\) 的 Moore-Penrose 逆,记作 \(A^+\).
若 \(X\) 值满足上述四个方程中的第 \((i),(j),\ldots,(l)\) 个方程,则称 \(X\) 为 \(A\) 的 \(\{i,j,\ldots,l\}\)-逆,记作 \(A^{(i,j,\ldots,l)}\),其全体记为 \(A\{i,j,\ldots,l\}\).
如下为 1-逆的示意图:
定理:对任意 \(A\in\mathbb C^{m\times n}\),\(A^+\) 存在且唯一。
证明:存在性。对 \(A\) 做奇异值分解 \(A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\),取 \(X=V\begin{bmatrix}\Sigma^{-1}&0\\0&0\end{bmatrix}U^H\),可以验证 \(X\) 满足 \(A^+\) 的四个条件。
唯一性。设 \(X,Y\) 均是 \(A^+\),则: \[\begin{align}&Y=YAY=Y(AY)^H=YY^HA^H=YY^H(AXA)^H=YY^HA^H(AX)^H=Y(AY)^HAX=YAYAX=YAX\\&X=XAX=(XA)^HX=A^HX^HX=(AYA)^HX^HX=(YA)^HA^HX^HX=(YA)^H(XA)^HX=(YA)^HXAX=(YA)^HX=YAX\end{align}\] 故 \(X=Y\). 证毕。
上述定理的证明过程也给出了 \(A^+\) 的一种基于奇异值分解的计算方法: \[A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\implies A^+=V\begin{bmatrix}\Sigma^{-1}&0\\0&0\end{bmatrix}U^H\]
定理: \[ \lim_{\delta\to0}(\delta^2I+A^HA)^{-1}A^H=A^+ \]
证明:设 \(A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\),则 \(A^HA=V\begin{bmatrix}\Sigma^2&0\\0&0\end{bmatrix}V^H\),于是 \(\delta^2I+A^HA=V\begin{bmatrix}\Sigma^2+\delta^2I&0\\0&\delta^2I\end{bmatrix}V^H\),因此: \[\begin{align}(\delta^2I+A^HA)^{-1}A^H&=V\begin{bmatrix}\left[\sigma_i^2+\delta^2\right]_{r\times r}&0\\0&\delta^2I\end{bmatrix}^{-1}V^HA^H\\&=V\begin{bmatrix}\left[\frac{1}{\sigma_i^2+\delta^2}\right]_{r\times r}&0\\0&\delta^{-2}I\end{bmatrix}(AV)^H\\&=V\begin{bmatrix}\left[\frac{1}{\sigma_i^2+\delta^2}\right]_{r\times r}&0\\0&\delta^{-2}I\end{bmatrix}\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}U^H\\&=V\begin{bmatrix}\left[\frac{\sigma_i}{\sigma_i^2+\delta^2}\right]_{r\times r}&0\\0&0\end{bmatrix}U^H\\\end{align}\] 于是当 \(\delta\to0\) 时, \[\lim_{\delta\to0}(\delta^2I+A^HA)^{-1}A^H=\lim_{\delta\to0}V\begin{bmatrix}\left[\frac{\sigma_i}{\sigma_i^2+\delta^2}\right]_{r\times r}&0\\0&0\end{bmatrix}U^H=V\begin{bmatrix}\Sigma^{-1}&0\\0&0\end{bmatrix}U^H=A^+\] 证毕。
广义逆的性质和构造
重要引理与推论
引理: \[ \begin{align} N(A)\supset N(B)&\iff \exists X,A=XB\\ R(A)\subset R(B)&\iff \exists X,A=BX \end{align} \] 推论: \[ \begin{align} &\text{rank}(AB)=\text{rank}(A)\implies \exists X,A=ABX\\ &\text{rank}(BA)=\text{rank}(A)\implies \exists X,A=XBA \end{align} \]
证明:由于 \(R(AB)\subset R(A)\),且 \(\dim R(AB)=\text{rank}(AB)=\text{rank}(A)=\dim R(A)\),故 \(R(AB)=R(A)\). 于是 \(R(AB)\supset R(A)\),根据引理知 \(\exists X,A=ABX\).
类似地,由于 \(N(BA)\supset N(A)\),且 \(\dim N(BA)=n-\text{rank}(BA)=n-\text{rank}(A)=\dim N(A)\),故 \(N(BA)=N(A)\). 于是 \(N(BA)\subset N(A)\),根据引理知 \(\exists X,A=XBA\). 证毕。
推论的这两个式子在证明中非常常用,即用更复杂的式子表示简单的矩阵,反而有助于证明。
关于 1-逆的定理
定理:矩阵 \(A\in\mathbb C^{m\times n}\) 有唯一 1-逆的充要条件为 \(A\) 是非奇异矩阵,且该 1-逆就是 \(A^{-1}\).
证明:充分性显然,必要性证明如下。设 \(Au=0\),\(AXA=A\),那么容易验证 \(X'=X+u\cdot[1,0,\ldots,0]\) 也满足 \(AX'A=A\),由于 1-逆唯一,故 \(u=0\),即 \(N(A)=\{0\}\). 类似可以证明 \(N(A^H)=\{0\}\),于是 \(A\) 列满秩且行满秩,故 \(A\) 为可逆方阵。证毕。
性质:设 \(A\in\mathbb C^{m\times n},\,B\in\mathbb C^{n\times p},\,\lambda\in\mathbb C\),则:
\((A^{(1)})^H\in A^{H}\{1\}\).
\(\lambda^+ A^{(1)}\in(\lambda A)\{1\}\). 其中 \(\lambda^{+}=\begin{cases}\lambda^{-1}&\lambda\neq 0\\0&\lambda=0\end{cases}\).
若 \(S\) 和 \(T\) 非奇异,则 \(T^{-1}A^{(1)}S^{-1}\in(SAT)\{1\}\).
\(\text{rank}(A^{(1)})\geq \text{rank}(A)\).
证明:\(\text{rank}(A)=\text{rank}(AA^{(1)}A)\leq\text{rank}(A^{(1)})\). 证毕。
\(AA^{(1)}\) 和 \(A^{(1)}A\) 均为幂等矩阵且与 \(A\) 同秩。
证明:\(\text{rank}(AA^{(1)})\leq\text{rank}(A)=\text{rank}(AA^{(1)}A)\leq\text{rank}(AA^{(1)})\),故 \(\text{rank}(AA^{(1)})=\text{rank}(A)\).
\(R(AA^{(1)})=R(A),\,N(A^{(1)}A)=N(A),\,R((A^{(1)}A)^H)=R(A^H)\).
证明:\(R(AA^{(1)})\subset R(A)=R(AA^{(1)}A)\subset R(AA^{(1)})\),故 \(R(AA^{(1)})=R(A)\).
类似地,\(N(A)\subset N(A^{(1)}A)\subset N(AA^{(1)}A)=N(A)\),故 \(N(A^{(1)}A)=N(A)\).
\(A^{(1)}A=I_n\iff \text{rank}(A)=n\),\(AA^{(1)}=I_m\iff \text{rank}(A)=m\).
证明:根据性质 5,\(\text{rank}(A^{(1)}A)=\text{rank}(A)\),因此必要性:\(A^{(1)}A=I_n\implies\text{rank}(A^{(1)}A)=n\implies\text{rank}(A)=n\);充分性:\(\text{rank}(A)=n\implies \text{rank}(A^{(1)}A)=n\),即 \(A^{(1)}A\) 可逆,又 \(A^{(1)}A\) 幂等,故为单位阵。另一个类似。证毕。
\(AB(AB)^{(1)}A=A\iff\text{rank}(AB)=\text{rank}(A)\),\(B(AB)^{(1)}AB=B\iff\text{rank}(AB)=\text{rank}(B)\).
证明:这实际上是上文重要推论的进一步阐述,即给出了存在的 \(X\) 的具体形式。
充分性。根据前文推论,存在 \(X\) 使得 \(A=ABX\),于是 \(AB(AB)^{(1)}A=AB(AB)^{(1)}ABX=ABX=A\).
必要性。\(\text{rank}(A)\geq\text{rank}(AB)\geq\text{rank}(AB(AB)^{(1)}A)=\text{rank}(A)\),故 \(\text{rank}(AB)=\text{rank}(A)\).
关于 1,2-逆的定理
定理:设 \(Y,Z\in A\{1\}\),则 \(X=YAZ\in A\{1,2\}\).
证明:\(XAX=YAZAYAZ=YAYAZ=YAZ=X\),故 \(X\in A\{2\}\).
又 \(AXA=AYAZA=AZA=A\),故 \(X\in A\{1\}\). 综上,\(X\in A\{1,2\}\). 证毕。
证明 2(利用通解形式,见下文):奇异值分解 \(A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\),则 \(Y,Z\) 可分别写作: \[Y=V\begin{bmatrix}\Sigma&C_1\\D_1&E_1\end{bmatrix}U^H,\quad Z=V\begin{bmatrix}\Sigma&C_2\\D_2&E_2\end{bmatrix}U^H\] 于是: \[X=YAZ=V\begin{bmatrix}B^{-1}&C_1\\D_1&E_1\end{bmatrix}U^HU\begin{bmatrix}B&0\\0&0\end{bmatrix}V^HV\begin{bmatrix}B^{-1}&C_2\\D_2&E_2\end{bmatrix}U^H=V\begin{bmatrix}B^{-1}&C_2\\D_1&D_1BC_2\end{bmatrix}U^H\] 这正是 1,2-逆的通解形式,故 \(X\in A\{1,2\}\). 证毕。
定理:给定矩阵 \(A\) 和 \(X\in A\{1\}\),则 \(X\in A\{1,2\}\) 的充要条件是 \(\text{rank}(X)=\text{rank}(A)\).
证明:充分性。由于 \(X\in A\{1\}\),故 \(A=AXA\),于是 \(\text{rank}(A)=\text{rank}(AXA)\leq\text{rank}(XA)\leq\text{rank}(X)=\text{rank}(A)\),故 \(\text{rank}(X)=\text{rank}(XA)\). 根据推论,存在 \(Y\) 使得 \(X=XAY\),于是 \(XAX=XAXAY=XAY=X\),故 \(X\in A\{2\}\).
必要性。由于 \(A=AXA,\,XAX=X\),于是 \(\text{rank}(X)=\text{rank}(XAX)\leq\text{rank}(A)=\text{rank}(AXA)\leq\text{rank}(X)\),故 \(\text{rank}(X)=\text{rank}(A)\).
证毕。
关于 1,2,3-逆和 1,2,4-逆的定理
引理:对任意矩阵 \(A\) 均有: \[ \text{rank}(A^HA)=\text{rank}(A)=\text{rank}(AA^H) \]
证明:由于 \(A^HAx=0\implies x^HA^HAx=0\implies Ax=0\),所以 \(N(A^HA)\subset N(A)\). 又 \(N(A^HA)\supset N(A)\),于是 \(N(A^HA)=N(A)\),于是 \(\text{rank}(A^HA)=\text{rank}(A)\). 另一个类似。证毕。
定理:设有矩阵 \(A\),则: \[ \begin{align} &Y=(A^HA)^{(1)}A^H\in A\{1,2,3\}\\ &Z=A^H(AA^H)^{(1)}\in A\{1,2,4\} \end{align} \]
证明:由于 \(\text{rank}(A^HA)=\text{rank}(A)=\text{rank}(AA^H)\),根据 1-逆的性质 8 有: \[A=A(A^HA)^{(1)}A^HA,\quad A^H=A^HA(A^HA)^{(1)}A^H\] 因此: \[\begin{align}&AYA=A(A^HA)^{(1)}A^HA=A&\implies Y\in A\{1\}\\&YAY=(A^HA)^{(1)}A^HA(A^HA)^{(1)}A^H=(A^HA)^{(1)}A^H=Y&\implies Y\in A\{2\}\end{align}\] 又存在 \(X\) 使得 \(A=XA^HA\),故: \[AY=A(A^HA)^{(1)}A^H=(XA^HA)(A^HA)^{(1)}(XA^HA)^H=XA^HA(A^HA)^{(1)}A^HAX^H=XA^HAX^H\] 是 Hermite 矩阵,于是 \(Y\in A\{3\}\).
\(Z\) 可类似证明。证毕。
关于 \(A^+\) 逆的定理
定理: \[ A^+=A^{(1,4)}AA^{(1,3)} \]
证明:设 \(X=A^{(1,4)}AA^{(1,3)}\),根据关于 1,2-逆的定理知 \(X\in A\{1,2\}\). 另外, \[AX=AA^{(1,4)}AA^{(1,3)}=AA^{(1,3)},\quad XA=A^{(1,4)}AA^{(1,3)}A=A^{(1,4)}A\] 均是 Hermite 矩阵,从而得到结论。证毕。
证明 2(利用通解形式,见下文):TODO
定理:给定矩阵 \(A\),有:
- \(\text{rank}(A^+)=\text{rank}(A)\).
- \((A^+)^+=A\).
- \((A^H)^+=(A^+)^H,\,(A^T)^+=(A^+)^T\).
- \((A^HA)^+=A^+(A^H)^+,\,(AA^H)^+=(A^H)^+A^+\).
- \(A^+=(A^HA)^+A^H=A^H(AA^H)^+\).
- \(R(A^+)=R(A^H),\,N(A^+)=N(A^H)\).
证明:前 5 条都可以通过定义证明。
对于第 6 条,根据 1 可知 \(\text{rank}(A^+)=\text{rank}(A)=\text{rank}(A^H)\),根据 5 可知 \(R(A^+)\subset R(A^H),\,N(A^+)\supset N(A^H)\),于是 \(R(A^+)=R(A^H),\,N(A^+)=N(A^H)\). 证毕。
推论:若 \(A\in\mathbb C_n^{m\times n}\),即列满秩,则 \(A^+=(A^HA)^{-1}A^H\);若 \(A\in\mathbb C_m^{m\times n}\),即行满秩,则 \(A^+=A^H(AA^H)^{-1}\).
推论:若 \(\alpha\in\mathbb C^n\),且 \(\alpha\neq 0\),则 \(\alpha^+=(\alpha^H\alpha)^{-1}\alpha^H\),而 \((\alpha^H)^+=(\alpha^+)^H=\alpha(\alpha^H\alpha)^{-1}\).
广义逆的通解形式
第一节中给出的广义逆的定义是方程形式,本节则直接推导广义逆的通解形式。
做证明时,有时使用方程形式不容易想到思路,而使用通解只需要无脑计算即可。
设 \(A\in\mathbb C^{m\times n}_r\),存在 \(m\) 阶可逆矩阵(或酉矩阵) \(P\) 和 \(n\) 阶可逆矩阵(或酉矩阵) \(Q\) 使得 \(A=P\begin{bmatrix}B&0\\0&0\end{bmatrix}Q\),其中 \(B\) 为 \(r\) 阶可逆矩阵。
注:应用奇异值分解可以使得 \(A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\),这是上面的特殊情形,因此做证明题时直接奇异值分解就行了。
但是做计算题时,奇异值分解比较麻烦,所以我们不必追求让 \(B\) 称为对角矩阵,只需要使得 \(B\) 可逆即可。可以通过如下方式计算 \(P,Q,B\): \[\begin{bmatrix}A&I_m\\I_n&0\end{bmatrix}\xrightarrow[\text{列变换}]{\text{行变换}}\begin{bmatrix}\begin{bmatrix}B&0\\0&0\end{bmatrix}&P\\Q&0\end{bmatrix}\] 也可以通过 QR 分解做:首先使用列置换矩阵 \(P\) 使得 \(AP\) 前 \(r\) 列线性无关,则对 \(AP\) 做 QR 分解得 \(AP=Q_1\begin{bmatrix}R_1&G\\0&0\end{bmatrix}\),其中 \(R_1\) 为上三角矩阵。再对 \(\begin{bmatrix}R_1^H&0\\G^H&0\end{bmatrix}\) 做 QR 分解得 \(\begin{bmatrix}R_1^H&0\\G^H&0\end{bmatrix}=Q_2\begin{bmatrix}R_2&0\\0&0\end{bmatrix}\),其中 \(R_2\) 为上三角矩阵。于是: \[AP=Q_1\begin{bmatrix}R_2^H&0\\0&0\end{bmatrix}Q_2^H\implies A=Q_1\begin{bmatrix}R_2^H&0\\0&0\end{bmatrix}Q_2^HP^T\] 这样得到的 \(B\) 是一个下三角矩阵。
广义逆 | 通解 |
---|---|
\(X\in A\{1\}\) | \(\exists\ C,D,E,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&C\\D&E\end{bmatrix}P^{-1}\) |
\(X\in A\{1,2\}\) | \(\exists\ C,D,\quad X=Q^{-1}\begin{bmatrix}B^{-1}&C\\D&DBC\end{bmatrix}P^{-1}\) |
\(X\in A\{1,3\}\) | \(\exists\ D,E,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&0\\D&E\end{bmatrix}P^{-1}\) |
\(X\in A\{1,4\}\) | \(\exists\ C,E,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&C\\0&E\end{bmatrix}P^{-1}\) |
\(X\in A\{1,2,3\}\) | \(\exists\ D,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&0\\D&0\end{bmatrix}P^{-1}\) |
\(X\in A\{1,2,4\}\) | \(\exists\ C,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&C\\0&0\end{bmatrix}P^{-1}\) |
\(X\in A\{1,3,4\}\) | \(\exists\ E,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&0\\0&E\end{bmatrix}P^{-1}\) |
\(X\in A\{1,2,3,4\}\) | \(X=Q^{-1}\begin{bmatrix}B^{-1}&0\\0&0\end{bmatrix}P^{-1}\) |
如果 \(P,Q\) 是酉矩阵,则 \(Q^{-1},P^{-1}\) 写为 \(Q^H,P^H\) 即可。
广义逆的等价定义
定义:设 \(A\in\mathbb C^{m\times n}\),若矩阵 \(X\in\mathbb C^{n\times m}\) 满足 \(AX=P_{R(A)},\,XA=P_{R(X)}\),其中 \(P_L\) 是空间 \(L\) 上的正交投影矩阵,则称 \(X\) 为 \(A\) 的 Moore 广义逆矩阵。
定理:Moore 广义逆矩阵和 Penrose 广义逆矩阵是等价的。