逻辑回归损失函数3D图

在学习逻辑回归的过程当中，经过3D图像能够直接观察损失函数的收敛速度，对自行肯定学习速率提供参考

损失函数公式：

 

Octave程序以下：

tx = linspace(100,-30,1000); %θ和X看作一个共同参数
ty = round(unifrnd(0,1,1,1000));% y的值仅仅为0或1，随机生成1000个
m=length(tx);
[xx, yy] = meshgrid (tx, ty);
tz = -1 *( yy* log( sigmoid(xx) ) + (1 - yy ) * log( (1 - sigmoid(xx)) ) )/m; %h()就是sigmoid()，tz就是J(θ)
mesh (tx, ty, tz);
xlabel ("θX");
ylabel ("y");
zlabel ("J");

从图中能够看到，J的收敛速度在开始比较大，后面愈来愈慢。对于学习速率的选择开始要小，后面能够适度变大