简单神经网络在Numpy和Pytorch上的实现

  我们将实现一个只有输入层、单隐藏层、输出层的一个神经网络。假设样本数为64个，输入维度为1000，隐藏层为100，输出层为10。   神经网络的求导，本质上是求导的链式法则。但由于涉及矩阵的乘法，有时候就会使用到转置，从而保证矩阵相乘的正确。那什么时候需要添加转置操作呢？能想到的办法就是根据结果去反推（如果有更好的办法，请评论或者私信我，谢谢），具体可见如下代码： Numpy代码 num_sa

>>阅读原文<<