斯坦福大学机器学习公开课

寒假玩了大半了，把各类游戏给卸载了，正儿八经的学习啦。。。

一直想把这个公开课看完，上学的时候吧不想看，放假了也不想看，胡乱写写，做为一个渣渣，把不明白给记下来。

这个公开课的第一课，主要是介绍了机器学习概念应用什么的，好像主要是概念吧，以前看的记不太清了。

第二课 监督学习应用 梯度降低

能够看这个连接有详细的笔记http://blog.sina.com.cn/s/blog_8e6f1b330101eu3b.html

表示这一课的不少高数的知识，我就有点不懂了，高数忘了不少。

这个公式的最后一项，彻底不懂这是干吗，难道就是个定义吗？视频后面也没用到，就这样吧。

关于那个下山的问题，我一下就联想到模拟退火了，貌似没啥关系。

偏导什么的，我都忘了，视频里老师在黑板上写得很棒。

老师是经过先用一组数据的时候更新式子，写出m组数据里的状况，具体怎么算的，我有点迷糊。θ实际上是一个向量，n个特征就应该算n次，j应该1-n，这个式子的最后一项是表示第i个数据的第j个特征的值，意义应该是这样。表示反复看了好几遍，好像有点明白。

批梯度降低算法和随机梯度降低算法感受就像是变换了一下姿式，把循环顺序改变了，就相似dfs中搜索顺序吧，有的搜索方式更容易搜到最优解。

 最后二十分钟的用线代的推导，矩阵求导，矩阵的迹，没记得学过呢，这个推导就是对最小二乘法的证实，最小二乘法直接能够算出回归直线方程，看到一我的笔记说：此方法要求 X 是列满秩的，并且求矩阵的逆比较慢。

第三课 欠拟合与过拟合的概念

局部加权回归算法是构造出一个w函数，判断是否和想计算的x是否相近。

视频中的用到w函数，是相似高斯函数的一个函数，高斯分布就是正态分布啊，利用趋近0和1判断。

我以为这个算法结果应该更符合实际。

而后是一系列的假设和证实，没怎么看懂。

后边提到拟然性，这是和几率有点相似的东西，我维基了一下。为了使得函数预测的更准，用最大拟然值。

第四课 牛顿方法

牛顿方法，挺好理解的，之前在acm的模板上见过，原本想找个题切切的，结果都是数学性很强的，作不了。

 搁浅了，准备笔试+面试去了 2014.3.20