[UCAS矩阵论]6.2广义逆矩阵的存在、性质及构造

广义逆的定义

定义：设矩阵 \(A\in\mathbb C^{m\times n}\)，若矩阵 \(X\in\mathbb C^{n\times m}\) 满足如下四个 Penrose 方程： \[ \begin{align} &AXA=A\tag{1}\label{1}\\ &XAX=X\tag{2}\label{2}\\ &(AX)^H=AX\tag{3}\label{3}\\ &(XA)^H=XA\tag{4}\label{4}\\ \end{align} \]

则称 \(X\) 为 \(A\) 的 Moore-Penrose 逆，记作 \(A^+\).

若 \(X\) 值满足上述四个方程中的第 \((i),(j),\ldots,(l)\) 个方程，则称 \(X\) 为 \(A\) 的 \(\{i,j,\ldots,l\}\)-逆，记作 \(A^{(i,j,\ldots,l)}\)，其全体记为 \(A\{i,j,\ldots,l\}\).

如下为 1-逆的示意图：

定理：对任意 \(A\in\mathbb C^{m\times n}\)，\(A^+\) 存在且唯一。

证明：存在性。对 \(A\) 做奇异值分解 \(A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\)，取 \(X=V\begin{bmatrix}\Sigma^{-1}&0\\0&0\end{bmatrix}U^H\)，可以验证 \(X\) 满足 \(A^+\) 的四个条件。

唯一性。设 \(X,Y\) 均是 \(A^+\)，则： \[\begin{align}&Y=YAY=Y(AY)^H=YY^HA^H=YY^H(AXA)^H=YY^HA^H(AX)^H=Y(AY)^HAX=YAYAX=YAX\\&X=XAX=(XA)^HX=A^HX^HX=(AYA)^HX^HX=(YA)^HA^HX^HX=(YA)^H(XA)^HX=(YA)^HXAX=(YA)^HX=YAX\end{align}\] 故 \(X=Y\). 证毕。

上述定理的证明过程也给出了 \(A^+\) 的一种基于奇异值分解的计算方法： \[A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\implies A^+=V\begin{bmatrix}\Sigma^{-1}&0\\0&0\end{bmatrix}U^H\]

定理： \[ \lim_{\delta\to0}(\delta^2I+A^HA)^{-1}A^H=A^+ \]

证明：设 \(A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\)，则 \(A^HA=V\begin{bmatrix}\Sigma^2&0\\0&0\end{bmatrix}V^H\)，于是 \(\delta^2I+A^HA=V\begin{bmatrix}\Sigma^2+\delta^2I&0\\0&\delta^2I\end{bmatrix}V^H\)，因此： \[\begin{align}(\delta^2I+A^HA)^{-1}A^H&=V\begin{bmatrix}\left[\sigma_i^2+\delta^2\right]_{r\times r}&0\\0&\delta^2I\end{bmatrix}^{-1}V^HA^H\\&=V\begin{bmatrix}\left[\frac{1}{\sigma_i^2+\delta^2}\right]_{r\times r}&0\\0&\delta^{-2}I\end{bmatrix}(AV)^H\\&=V\begin{bmatrix}\left[\frac{1}{\sigma_i^2+\delta^2}\right]_{r\times r}&0\\0&\delta^{-2}I\end{bmatrix}\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}U^H\\&=V\begin{bmatrix}\left[\frac{\sigma_i}{\sigma_i^2+\delta^2}\right]_{r\times r}&0\\0&0\end{bmatrix}U^H\\\end{align}\] 于是当 \(\delta\to0\) 时， \[\lim_{\delta\to0}(\delta^2I+A^HA)^{-1}A^H=\lim_{\delta\to0}V\begin{bmatrix}\left[\frac{\sigma_i}{\sigma_i^2+\delta^2}\right]_{r\times r}&0\\0&0\end{bmatrix}U^H=V\begin{bmatrix}\Sigma^{-1}&0\\0&0\end{bmatrix}U^H=A^+\] 证毕。

广义逆的性质和构造

重要引理与推论

引理： \[ \begin{align} N(A)\supset N(B)&\iff \exists X,A=XB\\ R(A)\subset R(B)&\iff \exists X,A=BX \end{align} \] 推论： \[ \begin{align} &\text{rank}(AB)=\text{rank}(A)\implies \exists X,A=ABX\\ &\text{rank}(BA)=\text{rank}(A)\implies \exists X,A=XBA \end{align} \]

证明：由于 \(R(AB)\subset R(A)\)，且 \(\dim R(AB)=\text{rank}(AB)=\text{rank}(A)=\dim R(A)\)，故 \(R(AB)=R(A)\). 于是 \(R(AB)\supset R(A)\)，根据引理知 \(\exists X,A=ABX\).

类似地，由于 \(N(BA)\supset N(A)\)，且 \(\dim N(BA)=n-\text{rank}(BA)=n-\text{rank}(A)=\dim N(A)\)，故 \(N(BA)=N(A)\). 于是 \(N(BA)\subset N(A)\)，根据引理知 \(\exists X,A=XBA\). 证毕。

推论的这两个式子在证明中非常常用，即用更复杂的式子表示简单的矩阵，反而有助于证明。

关于 1-逆的定理

定理：矩阵 \(A\in\mathbb C^{m\times n}\) 有唯一 1-逆的充要条件为 \(A\) 是非奇异矩阵，且该 1-逆就是 \(A^{-1}\).

证明：充分性显然，必要性证明如下。设 \(Au=0\)，\(AXA=A\)，那么容易验证 \(X'=X+u\cdot[1,0,\ldots,0]\) 也满足 \(AX'A=A\)，由于 1-逆唯一，故 \(u=0\)，即 \(N(A)=\{0\}\). 类似可以证明 \(N(A^H)=\{0\}\)，于是 \(A\) 列满秩且行满秩，故 \(A\) 为可逆方阵。证毕。

性质：设 \(A\in\mathbb C^{m\times n},\,B\in\mathbb C^{n\times p},\,\lambda\in\mathbb C\)，则：

1. \((A^{(1)})^H\in A^{H}\{1\}\).

2. \(\lambda^+ A^{(1)}\in(\lambda A)\{1\}\). 其中 \(\lambda^{+}=\begin{cases}\lambda^{-1}&\lambda\neq 0\\0&\lambda=0\end{cases}\).

3. 若 \(S\) 和 \(T\) 非奇异，则 \(T^{-1}A^{(1)}S^{-1}\in(SAT)\{1\}\).

4. \(\text{rank}(A^{(1)})\geq \text{rank}(A)\).

   证明：\(\text{rank}(A)=\text{rank}(AA^{(1)}A)\leq\text{rank}(A^{(1)})\). 证毕。

5. \(AA^{(1)}\) 和 \(A^{(1)}A\) 均为幂等矩阵且与 \(A\) 同秩。

   证明：\(\text{rank}(AA^{(1)})\leq\text{rank}(A)=\text{rank}(AA^{(1)}A)\leq\text{rank}(AA^{(1)})\)，故 \(\text{rank}(AA^{(1)})=\text{rank}(A)\).

6. \(R(AA^{(1)})=R(A),\,N(A^{(1)}A)=N(A),\,R((A^{(1)}A)^H)=R(A^H)\).

   证明：\(R(AA^{(1)})\subset R(A)=R(AA^{(1)}A)\subset R(AA^{(1)})\)，故 \(R(AA^{(1)})=R(A)\).

   类似地，\(N(A)\subset N(A^{(1)}A)\subset N(AA^{(1)}A)=N(A)\)，故 \(N(A^{(1)}A)=N(A)\).

7. \(A^{(1)}A=I_n\iff \text{rank}(A)=n\)，\(AA^{(1)}=I_m\iff \text{rank}(A)=m\).

   证明：根据性质 5，\(\text{rank}(A^{(1)}A)=\text{rank}(A)\)，因此必要性：\(A^{(1)}A=I_n\implies\text{rank}(A^{(1)}A)=n\implies\text{rank}(A)=n\)；充分性：\(\text{rank}(A)=n\implies \text{rank}(A^{(1)}A)=n\)，即 \(A^{(1)}A\) 可逆，又 \(A^{(1)}A\) 幂等，故为单位阵。另一个类似。证毕。

8. \(AB(AB)^{(1)}A=A\iff\text{rank}(AB)=\text{rank}(A)\)，\(B(AB)^{(1)}AB=B\iff\text{rank}(AB)=\text{rank}(B)\).

   证明：这实际上是上文重要推论的进一步阐述，即给出了存在的 \(X\) 的具体形式。

   充分性。根据前文推论，存在 \(X\) 使得 \(A=ABX\)，于是 \(AB(AB)^{(1)}A=AB(AB)^{(1)}ABX=ABX=A\).

   必要性。\(\text{rank}(A)\geq\text{rank}(AB)\geq\text{rank}(AB(AB)^{(1)}A)=\text{rank}(A)\)，故 \(\text{rank}(AB)=\text{rank}(A)\).

关于 1,2-逆的定理

定理：设 \(Y,Z\in A\{1\}\)，则 \(X=YAZ\in A\{1,2\}\).

证明：\(XAX=YAZAYAZ=YAYAZ=YAZ=X\)，故 \(X\in A\{2\}\).

又 \(AXA=AYAZA=AZA=A\)，故 \(X\in A\{1\}\). 综上，\(X\in A\{1,2\}\). 证毕。

证明 2（利用通解形式，见下文）：奇异值分解 \(A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\)，则 \(Y,Z\) 可分别写作： \[Y=V\begin{bmatrix}\Sigma&C_1\\D_1&E_1\end{bmatrix}U^H,\quad Z=V\begin{bmatrix}\Sigma&C_2\\D_2&E_2\end{bmatrix}U^H\] 于是： \[X=YAZ=V\begin{bmatrix}B^{-1}&C_1\\D_1&E_1\end{bmatrix}U^HU\begin{bmatrix}B&0\\0&0\end{bmatrix}V^HV\begin{bmatrix}B^{-1}&C_2\\D_2&E_2\end{bmatrix}U^H=V\begin{bmatrix}B^{-1}&C_2\\D_1&D_1BC_2\end{bmatrix}U^H\] 这正是 1,2-逆的通解形式，故 \(X\in A\{1,2\}\). 证毕。

定理：给定矩阵 \(A\) 和 \(X\in A\{1\}\)，则 \(X\in A\{1,2\}\) 的充要条件是 \(\text{rank}(X)=\text{rank}(A)\).

证明：充分性。由于 \(X\in A\{1\}\)，故 \(A=AXA\)，于是 \(\text{rank}(A)=\text{rank}(AXA)\leq\text{rank}(XA)\leq\text{rank}(X)=\text{rank}(A)\)，故 \(\text{rank}(X)=\text{rank}(XA)\). 根据推论，存在 \(Y\) 使得 \(X=XAY\)，于是 \(XAX=XAXAY=XAY=X\)，故 \(X\in A\{2\}\).

必要性。由于 \(A=AXA,\,XAX=X\)，于是 \(\text{rank}(X)=\text{rank}(XAX)\leq\text{rank}(A)=\text{rank}(AXA)\leq\text{rank}(X)\)，故 \(\text{rank}(X)=\text{rank}(A)\).

证毕。

关于 1,2,3-逆和 1,2,4-逆的定理

引理：对任意矩阵 \(A\) 均有： \[ \text{rank}(A^HA)=\text{rank}(A)=\text{rank}(AA^H) \]

证明：由于 \(A^HAx=0\implies x^HA^HAx=0\implies Ax=0\)，所以 \(N(A^HA)\subset N(A)\). 又 \(N(A^HA)\supset N(A)\)，于是 \(N(A^HA)=N(A)\)，于是 \(\text{rank}(A^HA)=\text{rank}(A)\). 另一个类似。证毕。

定理：设有矩阵 \(A\)，则： \[ \begin{align} &Y=(A^HA)^{(1)}A^H\in A\{1,2,3\}\\ &Z=A^H(AA^H)^{(1)}\in A\{1,2,4\} \end{align} \]

证明：由于 \(\text{rank}(A^HA)=\text{rank}(A)=\text{rank}(AA^H)\)，根据 1-逆的性质 8 有： \[A=A(A^HA)^{(1)}A^HA,\quad A^H=A^HA(A^HA)^{(1)}A^H\] 因此： \[\begin{align}&AYA=A(A^HA)^{(1)}A^HA=A&\implies Y\in A\{1\}\\&YAY=(A^HA)^{(1)}A^HA(A^HA)^{(1)}A^H=(A^HA)^{(1)}A^H=Y&\implies Y\in A\{2\}\end{align}\] 又存在 \(X\) 使得 \(A=XA^HA\)，故： \[AY=A(A^HA)^{(1)}A^H=(XA^HA)(A^HA)^{(1)}(XA^HA)^H=XA^HA(A^HA)^{(1)}A^HAX^H=XA^HAX^H\] 是 Hermite 矩阵，于是 \(Y\in A\{3\}\).

\(Z\) 可类似证明。证毕。

关于 \(A^+\) 逆的定理

定理： \[ A^+=A^{(1,4)}AA^{(1,3)} \]

证明：设 \(X=A^{(1,4)}AA^{(1,3)}\)，根据关于 1,2-逆的定理知 \(X\in A\{1,2\}\). 另外， \[AX=AA^{(1,4)}AA^{(1,3)}=AA^{(1,3)},\quad XA=A^{(1,4)}AA^{(1,3)}A=A^{(1,4)}A\] 均是 Hermite 矩阵，从而得到结论。证毕。

证明 2（利用通解形式，见下文）：TODO

定理：给定矩阵 \(A\)，有：

1. \(\text{rank}(A^+)=\text{rank}(A)\).
2. \((A^+)^+=A\).
3. \((A^H)^+=(A^+)^H,\,(A^T)^+=(A^+)^T\).
4. \((A^HA)^+=A^+(A^H)^+,\,(AA^H)^+=(A^H)^+A^+\).
5. \(A^+=(A^HA)^+A^H=A^H(AA^H)^+\).
6. \(R(A^+)=R(A^H),\,N(A^+)=N(A^H)\).

证明：前 5 条都可以通过定义证明。

对于第 6 条，根据 1 可知 \(\text{rank}(A^+)=\text{rank}(A)=\text{rank}(A^H)\)，根据 5 可知 \(R(A^+)\subset R(A^H),\,N(A^+)\supset N(A^H)\)，于是 \(R(A^+)=R(A^H),\,N(A^+)=N(A^H)\). 证毕。

推论：若 \(A\in\mathbb C_n^{m\times n}\)，即列满秩，则 \(A^+=(A^HA)^{-1}A^H\)；若 \(A\in\mathbb C_m^{m\times n}\)，即行满秩，则 \(A^+=A^H(AA^H)^{-1}\).

推论：若 \(\alpha\in\mathbb C^n\)，且 \(\alpha\neq 0\)，则 \(\alpha^+=(\alpha^H\alpha)^{-1}\alpha^H\)，而 \((\alpha^H)^+=(\alpha^+)^H=\alpha(\alpha^H\alpha)^{-1}\).

广义逆的通解形式

第一节中给出的广义逆的定义是方程形式，本节则直接推导广义逆的通解形式。

做证明时，有时使用方程形式不容易想到思路，而使用通解只需要无脑计算即可。

设 \(A\in\mathbb C^{m\times n}_r\)，存在 \(m\) 阶可逆矩阵（或酉矩阵） \(P\) 和 \(n\) 阶可逆矩阵（或酉矩阵） \(Q\) 使得 \(A=P\begin{bmatrix}B&0\\0&0\end{bmatrix}Q\)，其中 \(B\) 为 \(r\) 阶可逆矩阵。

注：应用奇异值分解可以使得 \(A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^H\)，这是上面的特殊情形，因此做证明题时直接奇异值分解就行了。

但是做计算题时，奇异值分解比较麻烦，所以我们不必追求让 \(B\) 称为对角矩阵，只需要使得 \(B\) 可逆即可。可以通过如下方式计算 \(P,Q,B\)： \[\begin{bmatrix}A&I_m\\I_n&0\end{bmatrix}\xrightarrow[\text{列变换}]{\text{行变换}}\begin{bmatrix}\begin{bmatrix}B&0\\0&0\end{bmatrix}&P\\Q&0\end{bmatrix}\] 也可以通过 QR 分解做：首先使用列置换矩阵 \(P\) 使得 \(AP\) 前 \(r\) 列线性无关，则对 \(AP\) 做 QR 分解得 \(AP=Q_1\begin{bmatrix}R_1&G\\0&0\end{bmatrix}\)，其中 \(R_1\) 为上三角矩阵。再对 \(\begin{bmatrix}R_1^H&0\\G^H&0\end{bmatrix}\) 做 QR 分解得 \(\begin{bmatrix}R_1^H&0\\G^H&0\end{bmatrix}=Q_2\begin{bmatrix}R_2&0\\0&0\end{bmatrix}\)，其中 \(R_2\) 为上三角矩阵。于是： \[AP=Q_1\begin{bmatrix}R_2^H&0\\0&0\end{bmatrix}Q_2^H\implies A=Q_1\begin{bmatrix}R_2^H&0\\0&0\end{bmatrix}Q_2^HP^T\] 这样得到的 \(B\) 是一个下三角矩阵。

广义逆	通解
\(X\in A\{1\}\)	\(\exists\ C,D,E,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&C\\D&E\end{bmatrix}P^{-1}\)
\(X\in A\{1,2\}\)	\(\exists\ C,D,\quad X=Q^{-1}\begin{bmatrix}B^{-1}&C\\D&DBC\end{bmatrix}P^{-1}\)
\(X\in A\{1,3\}\)	\(\exists\ D,E,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&0\\D&E\end{bmatrix}P^{-1}\)
\(X\in A\{1,4\}\)	\(\exists\ C,E,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&C\\0&E\end{bmatrix}P^{-1}\)
\(X\in A\{1,2,3\}\)	\(\exists\ D,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&0\\D&0\end{bmatrix}P^{-1}\)
\(X\in A\{1,2,4\}\)	\(\exists\ C,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&C\\0&0\end{bmatrix}P^{-1}\)
\(X\in A\{1,3,4\}\)	\(\exists\ E,\quad\;X=Q^{-1}\begin{bmatrix}B^{-1}&0\\0&E\end{bmatrix}P^{-1}\)
\(X\in A\{1,2,3,4\}\)	\(X=Q^{-1}\begin{bmatrix}B^{-1}&0\\0&0\end{bmatrix}P^{-1}\)

如果 \(P,Q\) 是酉矩阵，则 \(Q^{-1},P^{-1}\) 写为 \(Q^H,P^H\) 即可。

广义逆的等价定义

定义：设 \(A\in\mathbb C^{m\times n}\)，若矩阵 \(X\in\mathbb C^{n\times m}\) 满足 \(AX=P_{R(A)},\,XA=P_{R(X)}\)，其中 \(P_L\) 是空间 \(L\) 上的正交投影矩阵，则称 \(X\) 为 \(A\) 的 Moore 广义逆矩阵。

定理：Moore 广义逆矩阵和 Penrose 广义逆矩阵是等价的。