深度神经网络优化策略之——残差学习

问题起源 　　深度学习普遍认为发端于2006年，根据Bengio的定义，深层网络由多层自适应非线性单元组成——即多层非线性模块的级联，所有层次上都包含可训练的参数，在工程实际操作中，深层神经网络通常是五层及以上，包含数百万个可学习的自由参数的庞然大物。理论上，网络模型无论深浅与否，都能通过函数逼近数据的内在关系和本质特征，但在解决真实世界的复杂问题时，需要指数增长的计算单元，浅层网络往往出现函数表

>>阅读原文<<