“从样例学习” （1）监督学习 1.分类 2.回归 （2）非监督学习 1.聚类 “从样例学习”：（归纳学习） 归纳（induction）从特殊到一般，和演绎（deduction）从一般到特殊，是科学的两大基本推理手段。归纳是从特殊到一般的“泛化”（generalization）过程,演绎是从一般到特殊的“特化”（specialization）过程。 “从样例中学习”是一个归纳的过程，也称为“归纳学习”。其核心是，从训练样例中归纳出学习结果。
基于“神经网络”的“连接主义”： 产生的是黑箱模型，在工程上有很大用处。现在被称为深度学习，本质是“有很多层的神经网络”。 但是缺点也显而易见，深度学习缺少严格的理论基础，但由于现在大数据的兴起，数据量的增大和计算量的加强，深度学习在工程上有很多便利。但是由于参数过多，样本数据不够的话，容易造成“过拟合”。
统计学习： SVM & kernel methods 相比于神经网络的局限性，统计学习有统计学习理论的支撑。
“从样例学习”——即传统的机器学习，其核心我认为是在精妙的算法上，如线性回归、逻辑回归等有数学推导的支撑。这样的机器学习类型对数据量没有太高要求，但是在解决问题时，对算法的选择和设计有较高要求，对数学功底特别严格。
“神经网络——连接主义学习”，现在发展成深度学习，由于大数据时代的到来和计算机硬件的革命，数据量和计算量大大提升，对解决工程类问题有很大帮助，但是缺点显而易见，神经网络模型本质是一个“黑箱模型”，对学术类问题不能有很好的理论解释。 代表为——TensorFlow
机器学习的本质，我认为是算法、数学、编程。 三者缺一不可，学术方面，对数学和算法有较高要求，特别是在统计学方面，“从样例学习”需要大量统计学知识，在这方面“从样例学习”中，算法的推导可以帮助我们提升自身素质。 而“连接主义学习”，在工程领域有很好的应用（Tensorflow），对编程有较高要求，在短期内容易出成果，但是成果模型有不确定性和无法描述性，他的模型是“黑箱模型”，而且不可控性太大，主流的框架有Tensorflow、Caffe等。风险性在于，框架虽然类似编程语言，但是其开发者的改动和停止更新会对工程造成打击，不像算法那般可靠。 由此可见： “从样里学习”更偏向于学术论文的撰写，“连接主义学习”更偏向工程问题的解决。 即传统机器学习的基石是算法，深度学习的基石在于神经网络，他依靠的是大数据量和计算量。
