Moore-Penrose伪逆

参考材料：《深度学习》2.9 Moore-Penrose伪逆

1. Moore-Penrose伪逆（Moore-Penrose pseudoinverse）：
   $$A^{+}=li{m}_{\alpha \searrow 0}(A^{T}A+\alpha I{)}^{-1}{A}^T$$
2. 伪逆的实际算法
   $$A^{+}=V{D}^{+}{U}^T$$
   其中，U、D、V是A奇异值分解后得到的矩阵。D+是D的伪逆，是其非零元素取倒数之后再转置得到的。
3. 方程
   $$Ax=b$$
   当A的列数大于行数时，可以利用伪逆求解方程，得到的解是所有可行解中欧几里得范数最小的一个。
   当A的列数小于行数时，可能没有解，这时通过伪逆求得的x使得Ax和b的欧几里得距离最小。