先简单回顾下主成分析PCA(principle component analysis)与奇异值分解SVD(singular value decomposition)。
一、主成分析PCA
1、所解决问题
2、所依赖的原则
根据降维并减小信息损失的目标，可以得出以下两个原则
- 降维后的各个维度之间相互独立，即去除降维之前样本x中各个维度之间的相关性。
- 最大程度保持降维后的每个维度数据的多样性，即最大化每个维度内的方差
3、问题求解方法
式1就是协方差矩阵C的特征值分解，变换矩阵P即是矩阵C的前k个特征向量按行组成的矩阵。所以，PCA的求解步骤为：
- 求X均值
- 将X减去均值
- 计算协方差矩阵C
- 对协方差矩阵C特征值分解
- 从大到小排列C的特征值
- 取前k个特征值对应的特征向量按行组成矩阵即为变换矩阵P
这里的核心问题是协方差矩阵C的特征值分解。