一.理论基础

1.1 协方差与协方差矩阵

样本协方差，随机变量协方差，协方差矩阵

1.2 矩阵的迹

矩阵的迹及特性

1.3 矩阵的特征值，特征向量

矩阵特征值

二.PCA

主成分分析是最重要的降维方法之一，在数据压缩消除冗余和数据噪音等领域有广泛的引用。 选择一个超平面对 正交空间里的样本点进行有效的描述，需要注意两点： 最近重构性：样本点到这个超平面的距离都足够近最大可分性： 样本点到这个超平面上的投影尽可能的分开

2.1 PCA 算法推导

2.1.1 基于最近重构性的推导

详细推导过程 对推导过程中式（5）到式（6）详细说明： 式（5）到式（6）： 式5 求解的结果为一个常数:$x^{(i)}为n\ast 1的向$， $x^{(i)T}$为1 * n, $z^{(i)}同理为n^{\prime }\ast 1$ , 式5的第一项展开即为： $-(z^{(1)}\ast z^{(1)}+z^{(2)}\ast z^{(2)}....+z^{(m)}\ast z^{(m)})$ = -tr($z^{(i)T}{z}^{(i)}$) = -tr($z^{(i)}{z}^{(i)T}$)

2.1.2 基于最大可分性的推导

详细推导过程

2.2 PCA 算法流程

输入： n维样本集D=$(x^{(1)},x^{(2)},.....,x^{(m)})$, 要降维到维数n’. 输出： 降维后的样本集D‘ 1）对所有的样本进行中心化： $x^{(i)}=x^{(i)}-\frac{1}{m}{\sum }_{j=1}^m{x}^{(j)}$ 2) 计算样本的协方差矩阵$X{X}^T$ 3) 对矩阵$X{X}^T$ 进行特征值分解 4）取出最大的n’ 个特征值对应的特征向量$（w_1,w_2,.....,w_{n^{\prime }})$, 将所有的特征向量标准化后，组成特征向量矩阵W。 5）对样本集中的每一个样本$x^{(i)}$, 转化成新的样本 $x^{(i)}=W^T{x}^{(i)}$ 6) 得到输出样本集 $D^{\prime }=(z^{(1)},z(2),.....,z(m))$ 有的时候，不能能指定降维后的n’,而是换种方式，制定一个降维到主成分比重阈值t, 这个阈值 t 在（0，1] 之间， 假如我们的n个特征值为λ1≥λ2≥…≥λn, 则n’ 可以通过下式得到： $\frac{{\sum }_{i=1}^{n^{\prime }}{\lambda }_i}{{\sum }_{i=1}^n{\lambda }_i}⩾t$

三. KPCA

上面的PCA 算法中，我们假设存在一个线性的超平面， 可以让我们对数据进行投影，但有的时候，数据不是线性的，不能直接使用PCA 降维， 这里需要用到和支持向量机一样的核函数思想，先将数据从n维映射到线性可分的高维，N > n， 然后从N 维降到一个低维度n’.