PyTorch 里面处理的最基本的操作对象就是 Tensor（张量），表示的是一个多维的矩阵，比如零维就是一个点，一维就是向量，二维就是一般的矩阵，多维就相当于一个多维的数组，这和 numpy 是对应的，而且 PyTorch 的 tensor 可以和 numpy 的 ndarray 相互转换，
唯一不同的是 PyTorch 可以在 GPU 上运行
而 numpy 的 ndarray 只能在 CPU 上运行
前言
我们先介绍一下一些常用的不同数据类型的Tensor（ torch.Tensor默认的是 torch.FloatTensor数据类型）：
- 16位整型 torch.ShortTensor
- 32位整型 torch.IntTensor
- 64位整型 torch.LongTensor
- 16位浮点型 torch.HalfTensor
- 32位浮点型 torch.FloatTensor
- 64位浮点型 torch.DoubleTensor
- torch.Tensor 默认 torch.FloatTensor
类型（Types）
| Numpy | PyTorch |
|---|---|
| np.ndarray | torch.Tensor |
| np.float32 | torch.float32; torch.float |
| np.float64 | torch.float64; torch.double |
| np.float16 | torch.float16; torch.half |
| np.int8 | torch.int8 |
| np.uint8 | torch.uint8 |
| np.int16 | torch.int16; torch.short |
| np.int32 | torch.int32; torch.int |
| np.int64 | torch.int64; torch.long |
索引
| Numpy | PyTorch |
|---|---|
| x[0] | x[0] |
| x[:, 0] | x[:, 0] |
| x[indices] | x[indices] |
| np.take(x, indices) | torch.take(x, torch.LongTensor(indices)) |
| x[x != 0] | x[x != 0] |
ones and zeros
| Numpy | PyTorch |
|---|---|
| np.empty((2, 3)) | torch.empty(2, 3) |
| np.empty_like(x) | torch.empty_like(x) |
| np.eye | torch.eye |
| np.identity | torch.eye |
| np.ones | torch.ones |
| np.ones_like | torch.ones_like |
| np.zeros | torch.zeros |
| np.zeros_like | torch.zeros_like |
从已知数据构造
| Numpy | PyTorch |
|---|---|
| np.array([[1, 2], [3, 4]]) | torch.tensor([[1, 2], [3, 4]]) |
| np.array([3.2, 4.3], dtype=np.float16) , np.float16([3.2, 4.3]) | torch.tensor([3.2, 4.3], dtype=torch.float16) |
| x.copy() | x.clone() |
| np.fromfile(file) | torch.tensor(torch.Storage(file)) |
| np.frombuffer | |
| np.fromfunction | |
| np.fromiter | |
| np.fromstring | |
| np.load | torch.load |
| np.loadtxt | |
| np.concatenate | torch.cat |
数值范围
| Numpy | PyTorch |
|---|---|
| np.arange(10) | torch.arange(10) |
| np.arange(2, 3, 0.1) | torch.arange(2, 3, 0.1) |
| np.linspace | torch.linspace |
| np.logspace | torch.logspace |
构造矩阵
| Numpy | PyTorch |
|---|---|
| np.diag | torch.diag |
| np.tril | torch.tril |
| np.triu | torch.triu |
参数
| Numpy | PyTorch |
|---|---|
| x.shape | x.shape |
| x.strides | x.stride() |
| x.ndim | x.dim() |
| x.data | x.data |
| x.size | x.nelement() |
| x.dtype | x.dtype |
形状（Shape）变换
| Numpy | PyTorch |
|---|---|
| x.reshape | x.reshape; x.view |
| x.resize() | x.resize_ |
| x.resize_as_ | |
| x.transpose | x.transpose or x.permute |
| x.flatten | x.view(-1) |
| x.squeeze() | x.squeeze() |
| x[:, np.newaxis]; np.expand_dims(x, 1) | x.unsqueeze(1) |
数据选择
| Numpy | PyTorch |
|---|---|
| np.put | |
| x.put | x.put_ |
| x = np.array([1, 2, 3]) x.repeat(2) # [1, 1, 2, 2, 3, 3] | x = torch.tensor([1, 2, 3]) x.repeat(2) # [1, 2, 3, 1, 2, 3] x.repeat(2).reshape(2, -1).transpose(1, 0).reshape(-1) # [1, 1, 2, 2, 3, 3] |
| np.tile(x, (3, 2)) | x.repeat(3, 2) |
| np.choose | |
| np.sort sorted, indices = torch.sort(x, [dim]) | |
| np.argsort sorted, indices = torch.sort(x, [dim]) | |
| np.nonzero | torch.nonzero |
| np.where | torch.where |
| x[::-1] |
数值计算
| Numpy | PyTorch |
|---|---|
| x.min | x.min |
| x.argmin | x.argmin |
| x.max | x.max |
| x.argmax | x.argmax |
| x.clip | x.clamp |
| x.round | x.round |
| np.floor(x) | torch.floor(x); x.floor() |
| np.ceil(x) | torch.ceil(x); x.ceil() |
| x.trace | x.trace |
| x.sum | x.sum |
| x.cumsum | x.cumsum |
| x.mean | x.mean |
| x.std | x.std |
| x.prod | x.prod |
| x.cumprod | x.cumprod |
| x.all | (x == 1).sum() == x.nelement() |
| x.any | (x == 1).sum() > 0 |
数值比较
| Numpy | PyTorch |
|---|---|
| np.less | x.lt |
| np.less_equal | x.le |
| np.greater | x.gt |
| np.greater_equal | x.ge |
| np.equal | x.eq |
| np.not_equal | x.ne |