主成分分析(PCA, Principal Component Analysis)
主成分分析算法(PCA)是最流行的降维（降低维度）的算法。降维就是将高维特征 映射到低维度特征
，其中
。
降维的好处主要有 3 个：
- 数据压缩，减小数据所占内存或者硬盘空间；
- 降低运算量，提高机器学习的速度；
- 将数据维度降至三维或者二维，可以对数据可视化。
PCA 工作内容
PCA 所做的就是找到一个低维()子空间对数据进行投影，然后数据由该数据在投影空间的投影向量表示，同时 PCA 会最小化投影误差。其中，「投影误差」是所有的数据点到该投影线的距离之和。
用公式解释「投影误差」，假设 投影到低维子空间中的点
，那么「投影误差」
二维降至一维空间
以二维降至一维空间为例，PCA 所做的是找到一条投影线，使得所有的数据点到该投影线的距离之和最小。最后，每个样本表示从二维 变为一维
。
PCA 计算
Step1：数据预处理，对 对 进行特征缩放 / 均值归一化；
Step2：计算协方差矩阵；
Step3：计算协方差矩阵的特征向量，其中 svd()函数是奇异值分解，；
Step4：取矩阵 U 的前 k 列并计算 来表示
，其中
。
用下图总结一下整个计算过程：
PCA 计算过程
下面用 MATLAB 代码表示 PCA 计算过程：
Sigma = (1/m) * X' * X; % compute the covariance matrix
[U,S,V] = svd(Sigma); % compute our projected directions
Ureduce = U(:,1:k); % take the first k directions
Z = X * Ureduce; % compute the projected data points
涉及数学知识比较难，这里就暂时不解释原理。
主成分的数量 k 值的选取
如何选择主成分的数量 k ？
k 值选取公式
通过上图的公式选取出来的 k 值，它保留 99% 差异性，即降维后依旧保持着原本维度数据 99% 的变化情况，因此这样的降维改变并不会有多少影响。就分类的精确度而言，数据降维后对学习算法几乎没有什么影响。
一般，k 值选取是保留 99% 差异性，还有一个常用的是保留 95%、90% 差异性。
但如果实际上，一个一个遍历 k 值并重新计算上述公式，这种选取方法比较慢且运算量大。那么有没有一种更好的方法呢？
当然有啦！PCA 计算过程 Step3，得到矩阵 S，利用矩阵 S 来选择 k 值。通过遍历 k 值，选取满足 的 k 值。这种方法还不需要重新计算矩阵 S。
K 值选取的实际算法
降维后恢复
如果我们使用PCA来压缩我们的数据，那么，如何解压我们的数据且回到原始数据？
降维后恢复
需要注意的是， 就是之前所说的原始点投影在投影空间上的点，故此
与
有一定的误差。
应用：为机器学习提速
在机器学习中，使用 PCA 给数据降维可以减小运算量从而达到提高机器学习速度的功能。
需要注意的是，在训练集中运用了 PCA 将 ，那么在验证集和测试集都要运用 PCA 。
而企图因为 PCA 能够降维，希望借此达到解决过拟合问题的想法是错误的。
总之，PCA 在为机器学习提速应用效果很好；而 PCA 在处理过拟合问题效果很差，处理过拟合问题还是要用正则化。
建议
一开始不要将 PCA方法就直接放到算法里，先使用原始数据 看看效果。
只有一个原因可以考虑使用 PCA：学习算法收敛地非常缓慢且占用内存或者硬盘空间非常大，那么就考虑用 PCA 来进行压缩数据 。
总结
参考文献
- 吴恩达机器学习 week8
