线性模型和非线性模型的区别

在机器学习的回归问题中，线性模型和非线性模型均可以去对曲线进行建模，那么线性模型和非线性模型有什么区别呢？

其实，线性模型和非线性模型的区别并不在于能不能去拟合曲线。下面咱们来详细介绍一下它们两个的区别。

线性回归的等式

线性回归须要一个线性的模型。这到底意味着什么呢？

一个模型若是是线性的，就意味着它的参数项要么是常数，要么是原参数和要预测的特征之间的乘积加和就是咱们要预测的值。

Response = constant + parameter * predictior1 + ... + parameter * predictior2

下是个典型的线性模型：

$$Y = b + w_1x_1 + w_2x_2 + ... + w_kx_k$$

在统计意义上，若是一个回归等式是线性的，那么它的相对于参数就必须也是线性的。若是相对于参数是线性，那么即便性对于样本变量的特征是二次方或者屡次方，这个回归模型也是线性的 (例以下面的公式)。

$$Y = b + w_1x_1 + w_2x_2^2$$

你甚至可使用 log 或者指数去形式化特征

$$Y = b + w_1e^{-x_1} + w_2e^{-x_2}$$

非线性回归的等式

最简单的判断一个模型是否是非线性，就是关注非线性自己，判断它的参数是否是非线性的。非线性有不少种形象，这也是为何非线性模型可以那么好的拟合那些曲折的函数曲线的缘由。好比下面这个：

$$Y = \theta_1 \ast x^{\theta_2}$$

$$Y = \theta_1 + (\theta_3 - \theta_2) \ast e^{- \theta_4 X}$$

与线性模型不同的是，这些非线性模型的特征因子对应的参数不止一个。