CS231n学习笔记--1.Backpropagation

1. 反向传播能够对数据X和权重W都求导,但是在机器学习领域只考虑对W的导数,但是在一些场合对数据X的导数也有意义(如解释和可视化神经网络在做什么); 2. 深度学习中常见函数的导数: 3.复合函数求导链式法则例子: f(x,y,z) = (x+y)z q=x+y, f=qz ==>df/dx=(df/dq)*(dq/dx)  注:实际中这些都是数字相乘 代码实现:   4. circuit中的每
相关文章
相关标签/搜索