直播 | 旷视研究院最新理论成果:批归一化和权重衰减的球面优化机制

一直以来,批归一化(Batch Normalization,BN)和权重衰减(weight decay,WD)都以其出色稳定的表现成为了当今各种深度学习模型的标准配置,但它们的理论机制却仅有模糊的定性分析。为此旷视研究院针对该问题进行了深度研究并取得重要成果,相关论文成果已经发布至 arXiv。 论文地址:https://arxiv.org/pdf/2006.08419.pdf 在本次直播分享中,
相关文章
相关标签/搜索