[UCAS矩阵论]6.4广义逆与线性方程组

对于方程组 \(Ax=b\)，如果 \(A\) 非奇异，则 \(x=A^{-1}b\) 是唯一解。而在其他情况下，我们希望得到类似的结果。

• 如果方程组相容，且其解有无数多个，我们希望求极小范数解，即 \(\min_{Ax=b}\Vert x\Vert\)；
• 如果方程组不相容，即无解，那么我们希望求矛盾方程组的最小二乘解，即 \(\min \Vert Ax-b\Vert\)；
• 一般而言，最小二乘解也不唯一，因此我们希望求极小范数最小二乘解，即 \(\min_{\min\Vert Ax-b\Vert}\Vert x\Vert\).

注：本节所用范数均为 2 范数。

线性方程组的相容性、通解与 1-逆

定理：设 \(A\in\mathbb C^{m\times n},\,B\in\mathbb C^{p\times q},\,D\in\mathbb C^{m\times q}\)，则矩阵方程 \(AXB=D\) 相容的充要条件是： \[ AA^{(1)}DB^{(1)}B=D \] 当方程相容时，通解为： \[ X=A^{(1)}DB^{(1)}+Y-A^{(1)}AYBB^{(1)} \] 其中 \(Y\in\mathbb C^{n\times p}\) 为任意矩阵。

证明：充分性，取 \(X=A^{(1)}DB^{(1)}\) 即可；必要性，若 \(AXB=D\) 有解，则 \(D=AXB=AA^{(1)}AXBB^{(1)}B=AA^{(1)}DB^{(1)}B\).

对于通解，首先显然 \(X=A^{(1)}DB^{(1)}+Y-A^{(1)}AYBB^{(1)}\) 是方程的解；其次，若 \(X\) 是方程的解，则取 \(Y=X\) 即可写作通解形式。证毕。

推论：设 \(A\in\mathbb C^{m\times n}\)，取 \(A^{(1)}\in A\{1\}\)，则： \[ A\{1\}=\{A^{(1)}+Z-A^{(1)}AZAA^{(1)}\mid Z\in\mathbb C^{n\times m}\} \]

证明：任意 \(X\in A\{1\}\) 满足矩阵方程 \(AXA=A\)，代入上述定理的通解形式得： \[\begin{align}X&=A^{(1)}AA^{(1)}+Y-A^{(1)}AYAA^{(1)}\\&=A^{(1)}AA^{(1)}+A^{(1)}+Z-A^{(1)}A(A^{(1)}+Z)AA^{(1)}&Y=A^{(1)}+Z\\&=A^{(1)}+Z+A^{(1)}AA^{(1)}-A^{(1)}AA^{(1)}AA^{(1)}-A^{(1)}AZAA^{(1)}\\&=A^{(1)}+Z-A^{(1)}AZAA^{(1)}\end{align}\] 证毕。

定理：线性方程组 \(Ax=b\) 相容的充要条件是： \[ AA^{(1)}b=b \] 通解为： \[ x=A^{(1)}b+(I-A^{(1)}A)y \] 其中 \(y\in\mathbb C^{n}\) 为任意向量。

上文定理取 \(X=x,\,B=1,\,D=b\) 的特例。

上述定理是给定 \(A^{(1)}\) 后求解方程的解，反过来，利用方程的解也可以给出 \(A^{(1)}\).

定理：若对于任意满足 \(Ax=b\) 相容的 \(b\)，\(x=Xb\) 都是解，则 \(X\in A\{1\}\).

证明：考虑 \(Ax=a_i\)，其中 \(a_i\) 为 \(A\) 的列，由于 \(x=Xa_i\) 是方程的解，所以 \(AXa_i=a_i\)，于是 \(AXA=A\)，故 \(X\in A\{1\}\). 证毕。

相容方程组的极小范数解与 1,4-逆

引理：相容方程组 \(Ax=b\) 的极小范数解唯一，且这个唯一解在 \(R(A^H)\) 中。

证明：由于 \(R(A^H)=N(A)^\perp\)，所以设 \(x=y+z\)，其中 \(y=P_{R(A^H)}x\in R(A^H),\,z=P_{N(A)}x\in N(A)\)，于是： \[\Vert x\Vert^2=\Vert y+z\Vert^2=\Vert y\Vert^2+\Vert z\Vert^2\geq \Vert y\Vert^2\] 由于 \(Az=0\implies Ay=b\)，即 \(y\) 也是方程的解，所以为了让 \(x\) 是极小范数解，只能是 \(z=0\)，因此 \(x=y\in R(A^H)\).

唯一性。设 \(x'\in R(A^H)\) 且 \(Ax'=b\)，则 \(A(x-x')=0\)，即 \(x-x'\in N(A)=R^{\perp}(A^H)\). 又 \(x-x'\in R(A^H)\)，故 \(x-x'=0\). 证毕。

引理：集合 \(A\{1,4\}\) 由矩阵方程 \(XA=A^{(1,4)}A\) 的所有解组成，其中 \(A^{(1,4)}\in A\{1,4\}\).

证明：\(AXA=AA^{(1,4)}A=A\)，所以 \(X\in A\{1\}\)；\((XA)^H=(A^{(1,4)}A)^H=A^{(1,4)}A=XA\)，所以 \(X\in A\{4\}\). 综上 \(X\in A\{1,4\}\).

另一方面，若 \(X\in A\{1,4\}\)，则 \[A^{(1,4)}A=A^{(1,4)}AXA=(A^{(1,4)}A)^H(XA)^H=A^H(A^{(1,4)})^HA^HX^H=(AA^{(1,4)}A)^HX^H=A^HX^H=XA\] 即 \(X\) 是方程的解。证毕。

该定理说明尽管 \(A^{(1,4)}\) 不唯一，但是 \(A^{(1,4)}A\) 唯一。

推论：\(A^{(1,4)}A=P_{R(A^H)}\).

定理：设 \(A\in\mathbb C^{m\times n},\,A^{(1,4)}\in A\{1,4\}\)，则： \[ A\{1,4\}=\{A^{(1,4)}+Z(I-AA^{(1,4)})\mid Z\in\mathbb C^{n\times m}\} \]

证明：根据引理，任意 \(X\in A\{1,4\}\) 满足方程 \(XA=A^{(1,4)}A\)，代入通解形式得： \[\begin{align}X&=A^{(1,4)}AA^{(1,4)}+Y-YAA^{(1,4)}\\&=A^{(1,4)}AA^{(1,4)}+A^{(1,4)}+Z-(A^{(1,4)}+Z)AA^{(1,4)}&Y=A^{(1,4)}+Z\\&=A^{(1,4)}+Z+A^{(1,4)}AA^{(1,4)}-(A^{(1,4)}+Z)AA^{(1,4)}\\&=A^{(1,4)}+Z(I-AA^{(1,4)})\end{align}\] 证毕。

定理：设 \(Ax=b\) 相容，则 \(x=A^{(1,4)}b\) 为极小范数解；反之，若对于任意 \(b\in R(A)\)，\(x=Xb\) 都是极小范数解，则 \(X\in A\{1,4\}\).

证明：由第一节定理知 \(x=A^{(1,4)}b\) 一定是解。设 \(Au=b\)，则 \(x=A^{(1,4)}b=A^{(1,4)}Au=(A^{(1,4)}A)^Hu=A^H(A^{(1,4)})^Hu\in R(A^H)\)，于是根据本节引理知 \(x\) 为唯一极小范数解。

反之，考虑 \(Ax=a_i\)，由于 \(x=Xa_i\) 是方程的极小范数解，所以 \(Xa_i=A^{(1,4)}a_i\)，故 \(XA=A^{(1,4)}A\)，根据引理知 \(X\in A\{1,4\}\). 证毕。

矛盾方程组的最小二乘解与 1,3-逆

引理：集合 \(A\{1,3\}\) 由矩阵方程 \(AX=AA^{(1,3)}\) 的所有解组成，其中 \(A^{(1,3)}\in A\{1,3\}\).

证明：\(AXA=AA^{(1,3)}A=A\)，故 \(X\in A\{1\}\)；\((AX)^H=(AA^{(1,3)})^H=AA^{(1,3)}=AX\)，故 \(X\in A\{3\}\). 综上 \(X\in A\{1,3\}\).

另一方面，若 \(X\in A\{1,3\}\)，则： \[AA^{(1,3)}=AXAA^{(1,3)}=(AX)^H(AA^{(1,3)})^H=X^HA^H(A^{(1,3)})^HA^H=X^H(AA^{(1,3)}A)^H=X^HA^H=AX\] 即 \(X\) 是方程的解。证毕。

该定理说明尽管 \(A^{(1,3)}\) 不唯一，但是 \(AA^{(1,3)}\) 唯一。

推论：\(AA^{(1,3)}=P_{R(A)}\).

定理：设 \(A\in\mathbb C^{m\times n},\,A^{(1,3)}\in A\{1,3\}\)，则： \[ A\{1,3\}=\{A^{(1,3)}+(I-A^{(1,3)}A)Z\mid Z\in\mathbb C^{n\times m}\} \]

证明：根据引理，任意 \(X\in A\{1,3\}\) 满足方程 \(AX=AA^{(1,3)}\)，代入通解形式得： \[\begin{align}X&=A^{(1,3)}AA^{(1,3)}+Y-A^{(1,3)}AY\\&=A^{(1,3)}AA^{(1,3)}+A^{(1,3)}+Z-A^{(1,3)}A(A^{(1,3)}+Z)&Y=A^{(1,3)}+Z\\&=A^{(1,3)}+Z+A^{(1,3)}AA^{(1,3)}-A^{(1,3)}A(A^{(1,3)}+Z)\\&=A^{(1,3)}+(I-A^{(1,3)}A)Z\end{align}\] 证毕。

定理：设有方程 \(Ax=b\)，则 \(x=A^{(1,3)}b\) 为最小二乘解；反之，若对于任意 \(b\)，\(x=Xb\) 都是最小二乘解，则 \(X\in A\{1,3\}\).

法方程：\(x\) 是方程组 \(Ax=b\) 的最小二乘解的充要条件为： \[ A^HAx=A^Hb \]

矛盾方程组的极小范数最小二乘解与 \(A^+\)

定理：\(x=A^+b\) 是方程组 \(Ax=b\) 的唯一极小范数最小二乘解。反之，若对所有 \(b\)，\(x=Xb\) 都是方程 \(Ax=b\) 的极小范数最小二乘解，则 \(X=A^+\).

定理：若矩阵方程 \(AXB=D\) 不相容，则其极小范数最小二乘解，即满足 \(\min_\limits{\min \Vert AXB-D\Vert}\Vert X\Vert\) 的唯一解为 \(X=A^+DB^+\).

证明：方程两边同时行拉直： \[\overline{\text{vec}}(AXB)=\overline{\text{vec}}(D)\implies (A\otimes B^T)\overline{\text{vec}}(X)=\overline{\text{vec}}(D)\] 其极小范数最小二乘解为： \[\overline{\text{vec}}(X)=(A\otimes B^T)^+\overline{\text{vec}}(D)=(A^+\otimes (B^T)^+)\overline{\text{vec}}(D)=(A^+\otimes (B^+)^T)\overline{\text{vec}}(D)\] 于是反过来应用拉直算子得 \(X=A^+DB^+\). 证毕。

注：上述过程应用了 \((A\otimes B)^+=A^+\otimes B^+\) 的结论，该结论可以通过定义验证。

小结

\(Ax=b\)

• \(Ax=b\) 相容的充要条件是 \(AA^{(1)}b=b\)
• 若 \(Ax=b\) 相容，则通解为 \(x=A^{(1)}b+(I-A^{(1)}A)y\)
• 若 \(Ax=b\) 相容，则极小范数解为 \(x=A^{(1,4)}b\)
• 若 \(Ax=b\) 不相容，则最小二乘解为 \(x=A^{(1,3)}b\)
• 若 \(Ax=b\) 不相容，则极小范数最小二乘解为 \(x=A^+b\)

\(AXB=D\)

• \(AXB=D\) 相容的充要条件是 \(AA^{(1)}DB^{(1)}B=D\)
• 若 \(AXB=D\) 相容，则通解为 \(X=A^{(1)}DB^{(1)}+Y-A^{(1)}AYBB^{(1)}\)
• 若 \(AXB=D\) 不相容，则极小范数最小二乘解为 \(X=A^+DB^+\)

广义逆的集合表示

• \(A\{1\}=\{X\mid AXA=A\}=\{A^{(1)}+Z-A^{(1)}AZAA^{(1)}\mid Z\in\mathbb C^{n\times m}\}\)
• \(A\{1,3\}=\{X\mid AX=AA^{(1,3)}\}=\{A^{(1,3)}+(I-A^{(1,3)}A)Z\mid Z\in\mathbb C^{n\times m}\}\)
• \(A\{1,4\}=\{X\mid XA=A^{(1,4)}A\}=\{A^{(1,4)}+Z(I-AA^{(1,4)})\mid Z\in\mathbb C^{n\times m}\}\)
• \(A\{1,2\}=\{X\mid \text{rank}(X)=\text{rank}(A),\,X\in A\{1\}\}\)