1. 最好不要有in-place操作， 可能会影响到求导部分，而且并不会减少太多的存储
2. 支持类似于numpy的broadcasting tensor 乘法
3. 数据读取非常方便，按照要求arrange 好文件夹就可以了ImageFolder 和DataLoader
4. 一般都是在__init__初始化一些网络参数， relu这种没参数的Function都是在forward里面调用的，如果想要快速构建网络，可以使用nn.Sequential在__init__里面初始化，它是默认就会带有nn.relu的，这样的话在forward阶段就可以很简单的构建整个网络了。