1. 维度灾难
在数据挖掘中，特征工程是极其重要的一环，不断寻找特征的过程，就是不断给数据增加维度。通常特征更丰富，算法就更容易捕获数据之间的模式。
1.1 计算量
维度高了之后，计算开始变得非常困难；
1.2 特征干扰
同时特征之间会相互干扰，而不是相互独立，从而影响算法性能；
1.3 过拟合
还有一个很重要的原因是维度高了之后，样本在空间的分布会变得很稀疏，这容易导致过拟合，比如决策树的叶子节点上样本太少。
2. 常见降维算法
将样本从高维特征空间映射到低维特征空间；主要参照sklearn - dimension reduce：
1）MDS - multiple dimension scale，多维度缩放；
2）PCA - 主成分分析及其变体，minibatch PCA，kernel PCA，sparse PCA等；
3）SVD - 奇异值分解及其变体，SVD++等等；
4）LSA - 潜在语义分析（本质上是SVD分解）；
5）字典学习与稀疏编码；
6）NMF - 非负矩阵分解；
7）LDA - 线性判别分析；
8）factor analysis - 因子分析；
9）ICA - independent component analysis， 独立成分分析
3. 算法性能度量
1）比较降维前后，分类器的性能；
2）降维到三维及以下，可视化。
