0x00 PyTorch是什么?
PyTorch是一个基于Python的科学计算工具包,它主要面向两种场景:
- 用于替代NumPy,可以使用GPU的计算力
- 一种深度学习研究平台,可以提供最大的灵活性和速度
0x01 开始学习
1、Tensors
Tensors(张量)类似于numpy的ndarrays,不过Tensors还可以运行于GPU上以提升计算速度。
from __future__ import print_function
import torch
创建一个5×3且未初始化的矩阵:
x = torch.Tensor(5, 3)
print(x)
输出结果:
0.0000e+00 0.0000e+00 3.1766e-27
4.5880e-41 3.1950e-27 4.5880e-41
1.9468e-22 4.5880e-41 1.9468e-22
4.5880e-41 2.3214e-22 4.5880e-41
2.2306e-22 4.5880e-41 -2.7458e+32
[torch.FloatTensor of size 5x3]
创建一个随机初始化的矩阵:
x = torch.rand(5, 3)
print(x)
输出结果:
0.9559 0.8026 0.4142
0.8142 0.8763 0.6700
0.4673 0.0675 0.3439
0.2200 0.1499 0.6082
0.7853 0.8487 0.8124
[torch.FloatTensor of size 5x3]
获取矩阵大小:
print(x.size())
输出结果:
torch.Size([5, 3])
注意:torch.Size
实际上是一个元组,所以它支持元组的所有操作。
2、操作
PyTorch中的操作有很多不同的语法,下面我们以加法为例来学习其操作语法:
(1)加法:语法1
y = torch.rand(5, 3)
print(x + y) # x为上文中定义的x
输出结果:
1.7700 1.7643 1.3732
1.3085 1.4576 0.9668
0.9354 0.0891 0.4727
0.6503 0.6814 1.2334
1.5436 0.9600 1.0965
[torch.FloatTensor of size 5x3]
(2)加法:语法2
print(torch.add(x, y)) # x为上文中定义的x
输出结果:
1.7700 1.7643 1.3732
1.3085 1.4576 0.9668
0.9354 0.0891 0.4727
0.6503 0.6814 1.2334
1.5436 0.9600 1.0965
[torch.FloatTensor of size 5x3]
(3)加法:将结果赋值给Tensor对象
result = torch.Tensor(5, 3)
torch.add(x, y, out=result)
print(result)
输出结果:
1.7700 1.7643 1.3732
1.3085 1.4576 0.9668
0.9354 0.0891 0.4727
0.6503 0.6814 1.2334
1.5436 0.9600 1.0965
[torch.FloatTensor of size 5x3]
(4)加法:原地替换
# adds x to y
y.add_(x)
print(y)
输出结果:
1.7700 1.7643 1.3732
1.3085 1.4576 0.9668
0.9354 0.0891 0.4727
0.6503 0.6814 1.2334
1.5436 0.9600 1.0965
[torch.FloatTensor of size 5x3]
注意: 任何原地改变张量值的操作后缀都是固定的_
,例如:x.copy_(y)
、x.t_()
,都将原地改变x
的值。
另外,你可以使用标准的numpy索引来操作Tensor对象。
print(x[:, 1])
输出结果:
0.8026
0.8763
0.0675
0.1499
0.8487
[torch.FloatTensor of size 5]
调整大小:如果你想调整或重塑张量形状,那么可以使用torch.view
:
x = torch.randn(4, 4)
y = x.view(16)
z = x.view(-1, 8) # the size -1 is inferred from other dimensions
print(x.size(), y.size(), z.size())
输出结果:
torch.Size([4, 4]) torch.Size([16]) torch.Size([2, 8])
扩展阅读: 这里介绍了超过100个Tensor操作,包括转置、索引、切片、数学操作、线性代数、随机数等。
0x02 NumPy转换
将torch中的张量转换为numpy中的数组或者反过来都是轻而易举的事。
torch张量与numpy数组将共享它们底层的内存位置,改变二者之一都将会改变另一个。
1、将torch张量转换为numpy数组
定义一个torch张量对象:
a = torch.ones(5)
print(a)
输出结果:
1
1
1
1
1
[torch.FloatTensor of size 5]
将torch张量对象转换为numpy中的数组对象:
b = a.numpy()
print(b)
输出结果:
[ 1. 1. 1. 1. 1.]
下面查看numpy数组值是如何变化的:
a.add_(1)
print(a)
print(b)
输出结果:
2
2
2
2
2
[torch.FloatTensor of size 5]
[ 2. 2. 2. 2. 2.]
2、将numpy数组转换为torch张量
下面查看修改numpy数组是如何自动改变torch张量的:
import numpy as np
a = np.ones(5)
b = torch.from_numpy(a)
np.add(a, 1, out=a)
print(a)
print(b)
输出结果:
[ 2. 2. 2. 2. 2.]
2
2
2
2
2
[torch.DoubleTensor of size 5]
在CPU上的所有的张量,除了CharTensor之外,都支持转换成NumPy对象,也支持反向转换。
0x03 CUDA张量
使用.cuda
函数可以将张量移到GPU上进行计算:
# 只有当CUDA可用时才会进行下面计算
if torch.cuda.is_available():
x = x.cuda()
y = y.cuda()
x + y
以上脚本的总运行时间为:0分0.132秒。
本文中所使用的Python代码: tensor_tutorial.py