过拟合、梯度消失、RNN进阶

一、过拟合和欠拟合 训练误差:指模型在训练数据集上表现出的误差。 泛化误差:指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。(ML应关注此项) 如何计算训练误差或者泛化误差,可以用损失函数。【损失函数:均方误差(线性回归)、交叉熵损失函数(softmax回归)】 验证集的作用:进行模型选择。 K折交叉验证:由于验证数据集不参与模型训练,当训练数据不够用时,预留
相关文章
相关标签/搜索