参数与超参数

做为机器学习攻城狮（咳咳：调参员），参数和超参数是最最基础的常识。

一、参数（模型根据数据能够自动学习出的变量）

参数指的是模型内部的配置变量(configuration variable)，可经过数据来估计其取值。

从数据中估计或学习获得

一般不被人为设定

常做为最终模型的一部分被保存

参数是机器学习算法的关键，它们是从历史训练数据中学习到的，属于模型的一部分。

在经典的机器学习文献中，咱们能够把模型看做是假设，把参数看做是针对某特定数据实现假设的工具，一般来讲，模型参数是算法考虑全部可能取值后获得的最优解。

统计学：在统计学中，咱们可能会为一个变量假设服从某个分布，如高斯分布。高斯分布具备两个参数，分别是均数和标准差。这样的理解在机器学习中也是成立的，这些参数能够经过数据进行估计，而且做为预测模型的一部分。

编程：在编程中，咱们可能把参数传递给函数。在这个状况下，参数做为函数变量(function argument)能够取一系列值中的一个。在机器学习中，咱们使用模型就是在外部数据中进行预测所需的函数和参数。

模型具备固定个数的参数，叫作参数模型，若具备可变个数的参数，则为非参数模型。

下面是几个关于模型参数的例子：

人工神经网络的权重

支持向量机中的支持向量

线性回归及logistic回归中的回归系数

二、超参数（用来肯定模型的一些参数）

模型超参数指的是模型外部的配置变量，不能经过数据来估计其取值

经常使用于帮助估计模型参数的过程

一般由人为设定

可用探索的方法对其进行设定

可针对给定的预测建模问题对超参数进行调整

咱们不能得到针对某个特定问题的模型参数的最优取值。但咱们能够采用经验法则，参考用于其余问题的取值，或者经过反复尝试寻找最佳值。

当机器学习算法用于解决特定问题时，咱们正是采用规则搜寻或者随机搜寻的方式，对模型的超参数进行调整，来发现模型的参数，从而获得最优的预测。

下面是几个关于模型超参数的例子：

训练神经网络的学习率(learning rate)

支持向量机中的C(惩罚系数)和sigma(与支持向量的个数有关)

k最近邻算法(k-nearest neighbors)中的k(邻居个数)