马里兰大学论文：可视化神经网络的损失函数

在这篇论文中，研究人员提出了「过滤器归一化」方法，用于可视化损失函数的曲率，并对损失函数进行了实验性的并行对比。他们进一步探索了多种因素（网络架构、超参数、优化器等）对损失函数形态的影响，以及损失函数形态对泛化能力的影响。 神经网络的训练需要最小化高维度非凸损失函数——这是一项理论上很难、有时却易于实践的任务。尽管训练一般性神经损失函数（Blum & Rivest, 1989）是 NP-hard，

>>阅读原文<<