【深度学习笔记】优化算法（ Optimization Algorithm）

本文依旧是吴恩达《深度学习工程师》课程的笔记整理与拓展。 一、优化算法的目的与挑战     优化算法主要是用来加快神经网络的训练速度，使得目标函数快速收敛。     优化问题面临的挑战有病态解、鞍点、梯度爆炸与梯度消失……具体可见参考文献【1】241页到249页。     其中深度学习不太可能陷入局部最优，因为loss函数通常涉及多个维度(w1,w2...) 二、常见的优化算法 1、基本算法 小批

>>阅读原文<<