矩阵的广义逆
2015-07-02 10:19阅读：
投影矩阵为P=A*A^+. A 为m*n矩阵。r代表矩阵的秩
1）矩阵可逆：即两边逆，AA-1
= I =
A-1A
，此时r=m=n，A为方阵且满秩，零空间和左零空间都只有零向量。
2）左逆：当列满秩，列向量线性无关，行向量不一定，r=n，零空间只有零向量，Ax=b存在0个或1个解。
ATA是n×n的对称矩阵，满秩，ATA是可逆的，称(ATA)-1AT
为A的左逆，因为(ATA)-1AT
*A=I。这在最小二乘中至关重要，因为最小二乘以ATA为系数矩阵（为什么统计学家喜欢这些？因为统计学家最喜欢用最小二乘），在列满秩的情况下，AT
A可逆。此时[
(ATA)-1AT
]为n×m，Am×n，得I为n×n。
3）右逆：当行满秩，行向量线性无关，r=m，AT的零空间只含零向量，Ax=b有或无穷多个解，因为
A*AT(AAT)-1=I，所以把
AT(AAT)-1称为A的右逆。
4）伪逆：行空间和列空间的维数相同，都是r维，行空间的任意向量x(n*1)，与A相乘，得到恰好是列空间中的向量，行空间向量x与列空间向量Ax(m*1)的关系是一一对应的。如果要从列空间得到行空间的向量呢，要得到行空间的向量，那么x=A+(Ax)，A+就是伪逆，伪逆把左零空间变为0，即如果A+乘以左零空间的向量，结果为0。（假设没有零空间的干扰，即假设零空间只有零向量，存在逆，那么行空间的向量x得到列空间的向量Ax，反过来，通过A的逆就能从列空间得到行空间，
A-1(Ax)=x。）
考察如上左逆中有：
(ATA)-1AT
*A=I，如果将左逆写在右边将得不到单位矩阵了，那么
A(ATA)-1AT
是什么？
是在列空间投影的投影矩阵，它会尽量靠近单位矩阵，一个投影矩阵很想成为单位矩阵，但不可能做到。
右逆中，
A*AT(AAT)-1=I，如果将右逆写在左边也不是单位矩阵了，那AT(AAT)-1A是什么？
是在行空间投影的投影矩阵。
找伪逆A+
SVD，A=UΣVT，对角阵Σ对角线上的元素为：σ1,σ2,...σr,0,0...，秩为r，那么Σ的伪逆是多少？
如果对角线上没有0元素，那么Σ是可逆的，ΣΣ-1=I，Σ-1中对角线元素为1/σ1,1/σ2,...1/σn。现在对角线上有0元素。
Σm×n和Σ+n×m都是秩为r的矩阵，伪逆是最接近逆的矩阵，那ΣΣ+对角阵m×m，对角线上方有r个1，下边为0。这是到列空间的投影矩阵。
那Σ+Σ将得到n×n的对角矩阵，是到行空间的投影矩阵。
那么A的伪逆是多少？A+=VΣ+UT，这就是最小二乘不适用的情况，当统计学家遇到非满秩的时候，SVD的奇妙之处就在于将所有问题都归到对角矩阵上。
以上就是伪逆所做的事，乘在左边或右边得不到单位矩阵，得到的是投影矩阵。（乘在右边得到列空间的投影矩阵，乘在左边得到行空间的投影矩阵）
