最小二乘法 及python 实现

参考   最小二乘法小结     机器学习：Python 中如何使用最小二乘法

什么是” 最小二乘法” 呢

      定义：最小二乘法（又称最小平方法）是一种数学优化技术，它经过最小化偏差的平方和寻找数据的最佳函数匹配。

      做用：利用最小二乘法能够简便地求得未知的数据，并使得这些求得的数据与实际数据之间偏差的平方和为最小。

      原则：以” 残差平方和最小” 肯定直线位置 (在数理统计中，残差是指实际观察值与估计值之间的差)

      数学公式：

 

      基本思路：对于一元线性回归模型, 假设从整体中获取了 n 组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn），对于平面中的这 n 个点，可使用无数条曲线来拟合。而线性回归就是要求样本回归函数尽量好地拟合这组值，也就是说，这条直线应该尽量的处于样本数据的中心位置。所以，选择最佳拟合曲线的标准能够肯定为：使总的拟合偏差（即总残差）达到最小。 求最小，那就经过 对参数分别求导数联立方程组来解。

• 最小二乘法是直接利用最小化偏差平法和，来对参数求导，求得参数解，属于比较肯定的值
• 而 梯度降低法 ，属于迭代法，知道梯度 降低的方向刘，挨个去迭代。

1. 最小二乘法的原理与要解决的问题　

2. 最小二乘法的代数法解法

3.最小二乘法的局限性和适用场景　　

 

 

##最小二乘法
import numpy as np   ##科学计算库 
import scipy as sp   ##在numpy基础上实现的部分算法库
import matplotlib.pyplot as plt  ##绘图库
from scipy.optimize import leastsq  ##引入最小二乘法算法

''' 设置样本数据，真实数据须要在这里处理 '''
##样本数据(Xi,Yi)，须要转换成数组(列表)形式
Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2]) Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3]) ''' 设定拟合函数和误差函数 函数的形状肯定过程： 1.先画样本图像 2.根据样本图像大体形状肯定函数形式(直线、抛物线、正弦余弦等) '''

##须要拟合的函数func :指定函数的形状
def func(p,x): k,b=p return k*x+b ##误差函数：x,y都是列表:这里的x,y更上面的Xi,Yi中是一一对应的
def error(p,x,y): return func(p,x)-y ''' 主要部分：附带部分说明 1.leastsq函数的返回值tuple，第一个元素是求解结果，第二个是求解的代价值(我的理解) 2.官网的原话（第二个值）：Value of the cost function at the solution 3.实例：Para=>(array([ 0.61349535, 1.79409255]), 3) 4.返回值元组中第一个值的数量跟须要求解的参数的数量一致 '''

#k,b的初始值，能够任意设定,通过几回试验，发现p0的值会影响cost的值：Para[1]
p0=[1,20] #把error函数中除了p0之外的参数打包到args中(使用要求)
Para=leastsq(error,p0,args=(Xi,Yi)) #读取结果
k,b=Para[0] print("k=",k,"b=",b) print("cost："+str(Para[1])) print("求解的拟合直线为:") print("y="+str(round(k,2))+"x+"+str(round(b,2))) ''' 绘图，看拟合效果. matplotlib默认不支持中文，label设置中文的话须要另行设置 若是报错，改为英文就能够 '''

#画样本点
plt.figure(figsize=(8,6)) ##指定图像比例： 8：6
plt.scatter(Xi,Yi,color="green",label="样本数据",linewidth=2) #画拟合直线
x=np.linspace(0,12,100) ##在0-15直接画100个连续点
y=k*x+b ##函数式
plt.plot(x,y,color="red",label="拟合直线",linewidth=2) plt.legend(loc='lower right') #绘制图例
plt.show()

  结果以下所示： 

  输出结果：

      k= 0.900458420439 b= 0.831055638877
      cost：1
      求解的拟合直线为:
      y=0.9x+0.83

  绘图结果：