深度学习中那些有趣的定理或理论

1.通用近似定理

在人工神经网络领域的数学观点中，「通用近似定理 (Universal approximation theorem，一译万能逼近定理)」指的是：若是一个前馈神经网络具备线性输出层和至少一层隐藏层，只要给予网络足够数量的神经元，即可以实现以足够高精度来逼近任意一个在 ℝn 的紧子集 (Compact subset) 上的连续函数。

这必定理代表，只要给予了适当的参数，咱们即可以经过简单的神经网络架构去拟合一些现实中很是有趣、复杂的函数。这一拟合能力也是神经网络架构可以完成现实世界中复杂任务的缘由。尽管如此，此定理并无涉及到这些参数的算法可学性 (Algorithmic learnablity)。

推荐阅读：

形象的表述sigmoid的神经网络万能近似定理

万能近似定理（universal approximation theorrm）