Tensor:
Tensor是PyTorch中重要的数据结构,可认为是一个高维数组,Tensor和Numpy的ndarrays类似,但Tensor可以使用GPU加速。Tensor和numpy对象共享内存,所以它们之间的转换很快,而且几乎不会消耗资源,这也意味着,如果其中一个变了,另一个也会随之改变。
import torch as t
x = t.Tensor(5,3)#只是分配了空间,没有初始化
x = t.rand(5,3)#使用[0,1]均匀分布随机初始化二维数组
Autograd:
深度学习的算法本质上是通过反向传播求导数,PyTorch的Autograd模块实现了此功能。在Tensor上的所有操作,Autograd都能为它们自动提供微分,避免手动计算导数的复杂过程。
autograd.Variable是Autograd中的核心类,它简单封装了Tensor,并支持几乎所有Tensor操作。Tensor在被封装为Variable之后,可以调用它的.backward实现反向传播,自动计算所有梯度。
Variable包含三个属性:data、grad、grad_fn
data:保存Variable所包含的Tensor
grad:保存data对应的梯度
grad_fn:指向一个function对象,这个Function用来反向传播计算输入的梯度
#使用Tensor新建一个Variable
from torch.autograd import Variable
x = Variable(t.ones(2,2),requires_grad = true)
torch.nn:
torch.nn是专门为神经网络设计的模块化接口,nn构建于Autograd之上,可用来定义和运行神经网络。nn.Module是nn中最重要的类,可以把它看做一个网络的封装,包含网络各层定义以及forward方法,调用forward(input)方法,可返回前向传播的结果。
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
def __init__(self):
# nn.Module子类的函数必须在构造函数中执行父类的构造函数
# 下式等价于nn.Module.__init__(self)
super(Net, self).__init__()
# 卷积层 '1'表示输入图片为单通道, '6'表示输出通道数,'5'表示卷积核为5*5
self.conv1 = nn.Conv2d(1, 6, 5)
# 卷积层
self.conv2 = nn.Conv2d(6, 16, 5)
# 仿射层/全连接层,y = Wx + b
self.fc1 = nn.Linear(16*5*5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
def forward(self, x):
# 卷积 -> 激活 -> 池化
x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
x = F.max_pool2d(F.relu(self.conv2(x)), 2)
# reshape,‘-1’表示自适应
x = x.view(x.size()[0], -1)
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
net = Net()
print(net)