NLP实践五-----nn基础

文章目录 激活函数 深度学习中的正则化 深度模型中的优化 1.权重初始化 2.自适应学习率算法 fastText 1. 原理 2.代码实践 激活函数 概念：激活函数是对某一个隐藏层的结点进行非线性激活操作，分为以下步骤： （1）输入该节点的值为 x1,x2 时，在进入这个隐藏节点后，会先进行一个线性变换，计算出值 z[1]=w1x1+w2x2+b[1]=W[1]x+b[1] ，上标 1 表示第 1

>>阅读原文<<