导语
深度学习框架Pytorch发展势头惊人，这点小编也深有体会，翻翻Github上深度学习的开源代码，发现用Pytorch真的多了很多，因此小编最近也正在入坑Pytorch，顺便写写文章作些总结。认真看完这篇文章，你将收获：python
- 理解Tensor的建立
- 理解Tensor的加速
- 理解Tensor的经常使用属性
- 理解Tensor的经常使用方法
Tensor建立
咱们应该都知道Numpy是支持大量维度数组与矩阵运算的经常使用扩展库。可是对于计算图，深度学习或者梯度，Numpy彷佛真的有心无力，由于它的计算没法像Tensor同样在GPU上加速。今天咱们就一块儿来谈谈Pytorch最基本的概念Tensor。数组
Tensor是n维的数组，在概念上与numpy数组是同样的，不一样的是Tensor能够跟踪计算图和计算梯度。框架
1.从Numpy中建立函数
import torch import numpy as np numpy_array= np.array([1,2,3]) torch_tensor1 = torch.from_numpy(numpy_array) torch_tensor2 = torch.Tensor(numpy_array) torch_tensor3 = torch.tensor(numpy_array)
值得注意的是torch.Tensor()是默认张量类型torch.FloatTensor()的别名，就是说返回torch.Tensor()返回的是Float数据类型。其实咱们也能够修改其默认的数据类型：学习
torch.set_default_tensor_type(torch.DoubleTensor)
而torch.tensor()则会根据输入数据类型生成相应的torch.LongTensor、torch.FloatTensor和torch.DoubleTensor。code
固然，咱们也能够经过numpy()把Tensor转换为numpy类型内存
numpy_array = torch_tensor1.numpy() # 若是tensor在CPU上 numpy_array = torch_tensor1.cpu.numpy() # 若是tensor在GPU上 print(type(numpy_array)) #输出 ： <class 'numpy.ndarray'>
注意，若是Tensor在GPU上，则须要使用.cpu()先将GPU的Tensor转换到cpu上。深度学习
2.从Python内置类型中建立it
lst = [1,2,3] torch_tensor1 = torch.tensor(a) tp = (1,2,3) torch_tensor2 = torch.tensor(a1)
3.其余方式class
# 建立相同元素的Tensor torch_tensor1 = torch.full([2,3],2) # 建立全为1的Tensor torch_tensor2 = torch.ones([2,3]) # 建立全为0的Tensor torch_tensor3 = torch.zeors([2,3]) # 建立对角阵的Tensor torch_tensor4 = torch.eye(3) # 在区间[1,10]中随机建立Tensor torch_tensor5 = torch.randint(1,10,[2,2]) # 等等...
建立Tensor时候也可指定数据类型和所存储的设备
torch_tensor= torch.zeros([2,3],dtype=torch.float64,device=torch.device('cuda:0'))
torch_tensor.dtype #torch.float64
torch_tensor.device #cuda:0
torch_tensor.is_cuda #True
Tensor加速
咱们可使用如下两种方式使得Tensor在GPU上加速。
第一种方式是定义cuda数据类型。
dtype = torch.cuda.FloatTensor gpu_tensor = torch.randn(1,2).type(dtype) #把Tensor转换为cuda数据类型
第二种方式是直接将Tensor放到GPU上(推荐)。
gpu_tensor = torch.randn(1,2).cuda(0)#把Tensor直接放在第一个GPU上 gpu_tensor = torch.randn(1,2).cuda(1)#把Tensor直接放在第二个GPU上
而将Tensor放在CPU上也很简单。
cpu_tensor = gpu_tensor.cpu()
Tensor经常使用属性
1.查看Tensor类型属性
tensor1 = torch.ones([2,3]) tensor1.dtype # torch.float32
2.查看Tensor尺寸属性
tensor1.shape # 尺寸 tenosr1.ndim #维度
3.查看Tensor是否存储在GPU上
tensor1.is_cuda #False
4.查看Tensor存储设备
tensor1.device # cpu tensor1.cuda(0) tensor1.device # cuda:0
5.查看Tensor梯度计算
tensor1.grad
Tensor经常使用方法
1.torch.squeeze()：删除值为1的维度并返回Tensor
tensor1 = torch.ones([2,1,3]) torch_tensor1.size() #torch.Size([2, 1, 3]) tensor2=torch.squeeze(tensor1) print(tensor2.size())#torch.Size([2, 3])
从例子中能够看到Tensor的维度从原来的[2,1,3]变成[2,3],值为1的维度被删除。
2.torch.Tensor.permute()置换Tensor维度并返回新视图。
tensor1 = torch.ones([2,1,3]) print(tensor1.size()) # torch.Size([2, 1, 3]) tensor2 = tensor1.permute(2,1,0) # 0,1,2-> 2,1,0 print(tensor2.size()) # torch.Size([3, 1, 2])
从例子中能够看到，Tensor将本来的第一个维度值为2，第2维度值为3，置换后分别变成3和2.
3.torch.Tensor.expand()：把值为1的维度进行扩展，扩展的Tensor不会分配新的内存，只是原来的基础上建立新的视图并返回。
>>>tensor1 = torch.tensor([[3],[2]])
>>>tensor2 = tensor1.expand(2,2)
>>>tensor1.size()
torch.Size([2, 1])
>>>tensor2
tensor([[3, 3],
[2, 2]])
>>>tensor2.size()
torch.Size([2, 2])
从例子中能够看到，本来Tensor的维度是(2,1)，由于该函数是对值为1的维度进行扩展，因此能够扩展为(2,2),(2,3)等，可是要注意的是保持非1值的维度不变。
4.torch.Tensor.repeat()：沿着某个维度的Tensor进行重复，和expand()不一样的是，该函数复制本来的数据。
>>>tensor1 = torch.tensor([[3],[2]])
>>>tensor1.size()
torch.Size([2, 1])
>>>tensor2=tensor1.repeat(4,2)
>>>tensor2.size()
torch.Size([8, 2])
>>>tensor2
tensor([[3, 3],
[2, 2],
[3, 3],
[2, 2],
[3, 3],
[2, 2],
[3, 3],
[2, 2]])
例子中的tensor1维度是(2,1)，tensor1.repeat(4,2)，这是对第0维度和第1维度的Tensor分别重复4次和2次，因此repeat后维度变成了(8,2)。再看下面的例子。
>>>tensor1 = torch.tensor([[2,1]])
>>>tensor1.size()
torch.Size([1, 2])
>>>tensor2=tensor1.repeat(2,2,1)
>>>tensor2.size()
torch.Size([2,2,2])
>>>tensor2
tensor([[[2, 1],
[2, 1]],
[[2, 1],
[2, 1]]])
例子中的tensor1维度是(1,2)，tensor1.repeat(2,2,1)，此时前者跟后者的维度对应不上，此时能够理解为tensor1把维度改写为(1,1,2)，再tensor1.repeat(2,2,1)，tensor1第0,1,2的维度的Tensor分别重复1次，1次，2次，repeat后Tensor维度为(2,2,2)。
公众号：CVpython，专一于分享Python和计算机视觉，咱们坚持原创，不按期更新，但愿文章对你有帮助，快点扫码关注吧。
