线性回归与逻辑回归
线性回归和逻辑回归是机器学习中的两种算法，它们的目的都是在已知的数据中，建立模型，然后预测/分类新的数据。
- 线性回归是对一个或多个自变量之间关系进行建模的方法。
- 逻辑回归：线性回归可以预测连续值，但是不能解决分类问题。所以逻辑回归就是找到一个单调可微函数将分类任务的真实标记与线性回归模型的预测值联系起来，例如通过sigmoid函数将线性回归的(−∞,+∞)结果映射到(0,1)之间（代表属于某类别的概率）。
一元线性回归
将y作为因变量，x作为自变量，得到方程：
当给定参数和的时候，画在坐标图内是一条直线（这就是“线性”的含义）。当我们只用一个x来预测y，就是一元线性回归，也就是在找一个直线来拟合数据。比如，我有一组数据画出来的散点图，横坐标代表广告投入金额，纵坐标代表销售量，线性回归就是要找一条直线，并且让这条直线尽可能地拟合图中的数据点。
上图中有两条直线看起来都可以拟合数据点，那么我们要选择哪条直线呢？此时就需要一个评判标准来选择哪条直线是最合适的。这个评判标准就是损失函数。
损失函数
机器学习中的回归问题常用的损失函数是残差平方和，即SSE（Sum of Squares for Error），也叫欧氏距离。表达式如下：
即真实值和预测值间的差值。当损失函数值最小时，和为最优解。
一元二次方程图像如下所示：
上式中存在两个未知数，因此为二元二次方程，其三维图像如下所示：
对于这类凸函数，局部最优解即为全局最优解。使用最小二乘法计算得到和的值。
多元线性回归
以上举的例子是一维的例子（x只有一个），如果有两个特征，就是二元线性回归，要拟合的就是二维空间中的一个平面。如果有多个特征，那就是多元线性回归：
对于多元线性回归问题，通常不能通过另导数等于零的方式计算得到极值，因为深度学习中的模型很复杂，计算量很大。从计算机的角度来讲，求极值是利用梯度下降法。