机器学习-笔记3

    coursera上的Marchine Learning课程进展到了VII:Regullarization,目前一切轻松正常，学习群竟然达到了80人，这个Group应该算是这个课程最大的Study Group了吧，九月就要开学了，可能就不会有像暑假那样充足的时间，何况另外一门Statistics One也立刻就要开课了，固然我之后的自我学习重心会偏向机器学习，书也基本到货，加油了！

   最近几节课主要是关于 Logistic Regression的，便是对于y是离散的点的状况，好比说y只会等于0或者1，这是更多状况的基础，课程进而介绍了Regularization来使这个算法更有效果，同以往同样，课程内容在exercise 2里面获得了充分的体现。颇有意思

   另外值得注意的是Andrew提到的fminunc函数，对于应用级别的算法，这个函数应该会经常使用得多。I guess

   costFunction主要是对下面两个公式的具体实现，根据以往的学习经验，对计算进行数组化有事半功倍的效果

   

---

h = sigmoid(X*theta);
J=sum(-y'*log(h)-(1.-y)'*log(1.-h))/m;
grad=(h-y)'*X/m;

---

其中sigmoid是一个S形的函数，其实好像就是高中生物里的那个生物的S型生长曲线，具体的表达式是

这应该会在大二的《几率》里面学，并且在Statistics One也应该有讨论，到时候应该须要更加深刻地了解

执行效果大概就是下面这个样子（这是pdf里面的图片，由于某种不可抗地缘由，我Octave画出来的图不如pdf上的漂亮，

可是趋势彻底相同。。。。。matlab却是一切正常）

接下来是Regularization，Regularization地好处就是算法会自动判断哪些feature是主要的feature，从而可以使预测结果更准确

实现方法很巧妙，但Andrew没讲why，说是须要本身揣摩，准备有时间看一下，下面是两个不一样于上面的公式

以及实现代码：

---

h = sigmoid(X*theta);
theta_temp = theta(2:size(theta));
J = sum(-y'*log(h)-(1.-y)'*log(1.-h))/m+lambda/2/m*theta_temp'*theta_temp;
grad =(h-y)'*X/m+lambda/m*theta';
gradd=(h-y)'*X/m;
grad(1)=gradd(1);

---

由于对于grad来讲，j=0和j！=0是不一样的状况，因此为了写起来方便我用了一个gradd来算grad(1)，固然这拖慢了速度

确定会有更好的写法，我就算是献丑了吧。

下面是结果

总的来讲，越学习，越对ML感兴趣，大爱之！