奇异值分解之后如何进行最小二乘解算?

非满秩矩阵X 首先载体优化为（X转置X）,进行特征分解成POP转置,保留P.O的特征根的对角阵
在作另一种载体优化（XX转置）,进行特征分解成QRQ转置,保留Q.R是特征根对角阵
O和R的差别只在维度上,非零对角线的特征值是一样的.
所以X=PWQ转制,W是非零对角线特征值的平方根,组成的对角阵.

参考答案:x09随风潜入夜,润物细无声.

用不用奇异值分解只是技术问题,关键在于题目是错的
反例：
P=
1 2
2 5
Q=
3 2
2 2
A=
1 0
0 0
把条件里的正定改成正交才对,直接验证Moore-Penrose逆的四个等式就行了,用SVD当然更显然一些

奇异值分解
奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解,是矩阵分析中正规矩阵酉对角化的推广.在信号处理、统计学等领域有重要应用.
基本介绍
分析解释定理和推论
matlab奇异值分解
矩阵近似值
相关发展基本介绍
定理和推论
matlab奇异值分解
矩阵近似值
相关发展
展开 编辑本段基本介绍
　　奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似.然而这两种矩阵分解尽管有其相关性,但还是有明显的不同.对称阵特征向量分解的基础是谱分析,而奇异值分解则是谱分析理论在任意矩阵上的推广.[1]
编辑本段分析解释
定理和推论
　　定理：设A为m*n阶复矩阵,则存在m阶矩阵U和n阶矩阵V,使得：　　A = U*S*V’ 　　其中S=diag(σi,σ2,……,σr),σi>0 (i=1,…,r),r=rank(A).　　推论：设A为m*n阶实矩阵,则存在m阶正交阵U和n阶正交阵V,使得 　　A = U*S*V’ 　　其中S=diag(σi,σ2,……,σr),σi>0 (i=1,…,r),r=rank(A).　　说明：　　1、 奇异值分解非常有用,对于矩阵A(m*n),存在U(m*m),V(n*n),S(m*n),满足A = U*S*V’.U和V中分别是A的奇异向量,而S是A的奇异值.AA'的正交单位特征向量组成U,特征值组成S'S,A'A的正交单位特征向量组成V,特征值（与AA'相同）组成SS'.因此,奇异值分解和特征值问题紧密联系.　　2、 奇异值分解提供了一些关于A的信息,例如非零奇异值的数目（S的阶数）和A的秩相同,一旦秩r确定,那么U的前r列构成了A的列向量空间的正交基.
matlab奇异值分解
　　函数 svd 　　格式 s = svd (A) %返回矩阵A的奇异值向量 　　[U,S,V] = svd(A) %返回一个与A同大小的对角矩阵S,两个矩阵U和V,且满足= U*S*V'.若A为m×n阵,则U为m×m阵,V为n×n阵.奇异值在S的对角线上,非负且按降序排列 　　[U1,S1,V1]=svd(X,0) %产生A的“经济型”分解,只计算出矩阵U的前n列和n×n阶的S.　　说明：　　1.“经济型”分解节省存储空间.　　2.U*S*V'=U1*S1*V1'.[2]
编辑本段矩阵近似值
　　奇异值分解在统计中的主要应用为主成分分析（PCA）,它是一种数据分析方法,用来找出大量数据中所隐含的“模式”,它可以用在模式识别,数据压缩等方面.PCA算法的作用是把数据集映射到低维空间中去.　　数据集的特征值（在SVD中用奇异值表征）按照重要性排列,降维的过程就是舍弃不重要的特征向量的过程,而剩下的特征向量张成空间为降维后的空间.
编辑本段相关发展
　　在08年以前,奇异值分解都无法并行处理.（虽然 Google 早就有了MapReduce等并行计算的工具,但是由于奇异值分解很难拆成不相关子运算,即使在 Google 内部以前也无法利用并行计算的优势来分解矩阵.） 　　2008年初,Google 中国的张智威博士和几个中国的工程师及实习生已经实现了奇异值分解的并行算法,这是 Google中国对世界的一个贡献.[3]

奇异值 奇异值矩阵 奇异值矩阵分解

奇异值分解是线性代数中一种重要的矩阵分解,在信号处理、统计学等领域有重要应用.
定义：设A为m*n阶矩阵,的n个特征值的非负平方根叫作A的奇异值.记为.
(A),则HA)^(1/2).
定理:（奇异值分解）设A为m*n阶复矩阵,则存在m阶酉阵U和n阶酉阵V,使得:
A = U*S*V’
其中S=diag(σi,σ2,……,σr),σi>0 (i=1,…,r),r=rank(A).
推论：设A为m*n阶实矩阵,则存在m阶正交阵U和n阶正交阵V,使得
A = U*S*V’
其中S=diag(σi,σ2,……,σr),σi>0 (i=1,…,r),r=rank(A).
说明：
1、奇异值分解非常有用,对于矩阵A(m*n),存在U(m*m),V(n*n),S(m*n),满足A = U*S*V’.U和V中分别是A的奇异向量,而S是A的奇异值.AA'的正交单位特征向量组成U,特征值组成S'S,A'A的正交单位特征向量组成V,特征值（与AA'相同）组成SS'.因此,奇异值分解和特征值问题紧密联系.
2、奇异值分解提供了一些关于A的信息,例如非零奇异值的数目（S的阶数）和A的秩相同,一旦秩r确定,那么U的前r列构成了A的列向量空间的正交基.
关于奇异值分解中当考虑的对象是实矩阵时: S对角元的平方恰为A'A特征值的说明. (对复矩阵类似可得)
从上面我们知道矩阵的奇异值分解为: A=USV, 其中U,V是正交阵(所谓B为正交阵是指B'=B-1, 即B'B=I), S为对角阵.
A'A=V'S'U'USV=V'S'SV=V-1S2V
上式中, 一方面因为S是对角阵, S'S=S2, 且S2对角元就是S的对角元的平方. 另一方面注意到A'A是相似与S2的, 因此与S2有相同特征值.
注：下面的符号和上面的有差异,注意区分
SVD步骤：
1、求AHA或AAH
2、求AHA或AAH的特征值及特征向量x1,x2,...xr, r个特征值组成
3、 U=(x1,x2,...xr)地
4、V1=AU1Δr-1,取V2与其正交,则V=(V1,V2)
则n阶复方阵U的n个列向量是U空间的一个标准正交基,则U是U距阵.
一个简单的充分必要判别准则是 方阵U的转置共扼距阵乘以U 等于单位阵,则U是U距阵
正交向量组的性质
定义1 Euclid空间V的一组两两正交的非零向量叫做V的一个正交向量组．
若正交向量组的每一个向量都是单位向量,这个正交组就叫做一个标准正交向量组．
设V是一个n维Euclid空间．若V中n个向量α1,α2,…,αn构成一个正交组,则由定理9.2.1知道这n个向量构成V的一个基．这样的一个基叫做V的一个正交基．若V的一个正交基还是一个标准正交向量组,则称这个基是V的一个标准正交基．