学习http://mooc.guokr.com/note/16274/这个视频教程已经一段时间了，监督学习部分基本上过完，一些疑问，一些思考，值得记下来。 1. 教材上半部分的小结 上半部分主要介绍了监督学习的一些经典方法。回过头来看，这部分经典方法主要解决函数拟合和分类问题。在训练集已知确切结果的情况下，通过线性回归、逻辑回归、构造神经网络等手段，完成对测试集输入的拟合、分类。 实际上，监督学习这一块介绍的经典方法是对大学教育《模式识别》、《数值计算》、《数理统计》等课程涉及内容的融汇与应用，仍然属于较为基础、易懂的部分。之所以这样说，主要是有以下几点： (1) 基于特征的拟合与分类: 必须从输入数据构造一定的特征作为输入（最后说的支持矢量机已经带有一些自构造特征的苗头，但依旧是传统方法）。如果没有构造好特征，比如多项式模型漏了某个关键交叉项，拟合的效果就好不了。 (2)定步长BP算法进行梯度加权反馈：对神经网络的训练采用的是模式识别中的经典案例，定步长BP算法。 但是，还是要大赞教材。由于授课者已经对机器学习领域的理论融会贯通，虽然是利用经典教材中的现有知识点讲解，但把这些独立、零碎的知识整合成为层次分明、关联有序、巨细张弛的知识结构，实属不易。
2. 阅读非监督部分之前的思考
(1)特征的构造，怎么破？ 传统的拟合预测/分类识别算法，需要设计者根据应用场景，提取出一组特征作为输入。比如图像识别中的尺度不变特征(SIFT)及其庞大的衍生家族。然而稍微复杂的应用，我们观测到的现象与本质之间存在着非常复杂的联系，很难准确找到哪些特征是必须的。 即使简化N倍，假设小张给了1000组y,x值，用的是
y=13tan(x)+7log2(x)−11sin(x)−0.3 小李在不知道公式的情况下，使用多项式/神经网络等方法，拟合出来的效果肯定不如用知道大致公式时的模型: y=Atan(x)+Blog2(x)+Csin(x)+D 来的精确。恰当的从输入x构造出三个特征: x1=tan(x),x2=log2(x),x3=sin(x) 可以使非线性问题立刻变为线性问题。因此，对传统的识别分类来说，选择合理的特征可以大大降低复杂度。(2)脑袋里的一些胡思乱想–卷积神经网络的来头 现在人这么聪明，一定有一种自动选择特征的方法。我指的不是SVM，支持矢量机用于分类的特征构造方法太暴力了。从多项式拟合开始，如何知道需不需要交叉项、高次项？或者如何让算法自己去寻找？ 假设现在的输入X是一个m维的矢量 X={x0...xm−1} - 各个 xi 的二次项、交叉项可以通过卷积运算来“生产”：
X′(k)=conv(X(k),X(k)) 将会生产出大量的交叉项、平方项。比如 x1x2 、 x3x4 之类。 - 如果安排多次卷积，将会生成高次交叉项. 如 x21x2 之类。 - 自动训练网络中的权，会不会有可能打开那些需要的特征通路，关闭那些无效的通路？3 关于我们的大脑 神经网络计算与人脑的关系，或许可以类比飞机与动物。虽然飞机、鸟、蝙蝠都能飞，但这三个的原理实际上各不相同。飞机与鸟比较像一些，与蝙蝠差的远一些。蝙蝠更像一个抱水的游泳者，鸟或许在滑翔阶段与飞机类似。现在的机器学习，神经网络，在模拟人脑方面，如果已经达到飞机与鸟的物理相似性，那就反过来意味着无趣。原来“我”、“物”的存在感，就是驻留在大脑中的结构。这个结构是由皮肤、嗅觉、听觉、视觉、味觉等传感器输入的信息训练出来的；喜怒哀乐都是代价函数的输出而已。额，我宁愿这不是真的。
