两层神经网络
(N,D_I,H,D_O)(64,10000,1000,10)
公式(简化没放b)
H=w1x
y=w2H
#设置learning_ratw=1e-6
#数据初始化
x,y,w,b
#前向传播
把公式的内容写一遍
#计算loss值(y_pred-y)
#反向传播
从loss里得到grad_y_pred--->grad_w2--->grad_h_relu--->grad_h--->grad_w1 反向求导
#更新w1,w2 如果有b的话也更新
w1-=learning_rate*grad_w1
w2-=learning_rate*grad_w2
也就是分三步:1.数据、参数、超参数初始化
进入循环过程,看你想迭代多少次
2.正向传播(公式+loss)
3.反向传播(反向梯度计算+更新w、b值)