加载和保存张量

1
2
3
4
5
6
7
8
9
import torch
from torch import nn
from torch.nn import functional as F

x = torch.arange(4)
torch.save(x, 'x-file')

x2 = torch.load('x-file')
x2
1
tensor([0, 1, 2, 3])

可以存储一个张量列表，然后把它们读回内存：

1
2
3
4
y = torch.zeros(4)
torch.save([x, y], 'x-files')
x2, y2 = torch.load('x-files')
(x2, y2)
1
(tensor([0, 1, 2, 3]), tensor([0., 0., 0., 0.]))

可以写入或读取从字符串映射到张量的字典：

1
2
3
4
mydict = {'x': x, 'y': y}
torch.save(mydict, 'mydict')
mydict2 = torch.load('mydict')
mydict2
1
{'x': tensor([0, 1, 2, 3]), 'y': tensor([0., 0., 0., 0.])}

加载和保存模型参数

深度学习框架提供了内置函数来保存和加载整个网络，需要注意的是这将保存模型的参数而不是保存整个模型。

1
2
3
4
5
6
7
8
9
10
11
12
class MLP(nn.Module):
  def __init__(self):
    super().__init__()
    self.hidden = nn.Linear(20, 256)
    self.output = nn.Linear(256, 10)

  def forward(self, x):
    return self.output(F.relu(self.hidden(x)))

net = MLP()
X = torch.randn(size=(2, 20))
Y = net(X)

将模型的参数存储为一个叫做“mlp.params”的文件：

1
torch.save(net.state_dict(), 'mlp.params')

为了恢复模型，可以实例化原始多层感知机模型的一个备份，这里不需要随机初始化模型参数，而是直接读取文件中存储的参数：

1
2
3
clone = MLP()
clone.load_state_dict(torch.load('mlp.params'))
clone.eval()
1
2
3
4
MLP(
  (hidden): Linear(in_features=20, out_features=256, bias=True)
  (output): Linear(in_features=256, out_features=10, bias=True)
)
1
2
Y_clone = clone(X)
Y_clone == Y
1
2
tensor([[True, True, True, True, True, True, True, True, True, True],
        [True, True, True, True, True, True, True, True, True, True]])

总结

  • save和load函数可用于张量对象的文件读写。
  • 我们可以通过参数字典保存和加载网络的全部参数。
  • 保存架构必须在代码中完成，而不是在参数中完成。