一、 分类问题
KNN (距离度量)DT (ID3-信息增益, C4.5-信息增益比, CART-gini指数)RF (bootstrap抽样，CART)Adaboost (样本权值分布，分类器系数)GBDT (CART, 残差)ANN (BP, SGD, sigmod or softmax)SVM (对偶, kernel)NaiveBayes (Bayes公式)LR (sigmod, SGD or BFGS)EM (隐变量，极大似然估计，E步+M步)HMM (markov, 初始状态概率向量，观测概率矩阵，状态转移概率矩阵)CRF(概率无向模型，morkov)
二、 聚类/降维
KmeansPCAFisher LDADirichlet LDASAE 深度学习DBN (RBM)SAERNNLSTM: http://blog.csdn.net/Dark_Scope/article/details/47056361CNN (LeNet, AlexNet, ZFnet, VGGNet, GoogleNet)R-CNNfast R-CNNfaster R-CNNR-FCNDRN: http://www.tuicool.com/articles/F77Bzu (or http://blog.csdn.net/u011534057/article/details/51821690) 注： plain network and highway network
三、相关的概念
先验概率，后验概率过拟合，欠拟合正则化剪枝kernel对偶常用距离度量（欧式，曼哈顿，切比雪夫，闵可夫斯基，马氏，夹角余弦，汉明距离， 信息熵） 四、激活函数logistic-sigmoid: f(x)=1/(1+exp(-x))tanh-sigmoid: f(x)=(1-exp(-x))/(1+exp(-x))soft-plus: f(x)=integral(logistic-sigmoid)=ln(1+exp(x)) (logistic-sigmoid的原函数)Relu (rectifier liner units): f(x)=max(0, x) 注：soft-plus可以看作是Relu的平滑桥正
