Pytorch学习笔记

1. 最好不要有in-place操做， 可能会影响到求导部分，并且并不会减小太多的存储

2. 支持相似于numpy的broadcasting  tensor 乘法

3. 数据读取很是方便，按照要求arrange 好文件夹就能够了ImageFolder 和DataLoader

4. 通常都是在__init__初始化一些网络参数， relu这种没参数的Function都是在forward里面调用的，若是想要快速构建网络，能够使用nn.Sequential在__init__里面初始化，它是默认就会带有nn.relu的，这样的话在forward阶段就能够很简单的构建整个网络了。