回顾多层感知机

1
2
3
4
5
6
7
8
import torch
from torch import nn
from torch.nn import functional as F

net = nn.Sequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256, 10))

X = torch.rand(2, 20)
net(X)
1
2
3
4
tensor([[ 0.0074,  0.2389, -0.0171, -0.0982,  0.0142,  0.0451,  0.0927,  0.0901,
          0.1494, -0.0729],
        [-0.0737,  0.2144, -0.0660, -0.0879, -0.0225, -0.0036,  0.1327,  0.0922,
          0.2136, -0.0358]], grad_fn=<AddmmBackward>)

nn.Sequential定义了一种特殊的Module

自定义块

MLP类继承了表示块的类，实现只需要提供自己的构造函数（Python中的__init__函数）和前向传播函数。

1
2
3
4
5
6
7
8
9
10
11
12
13
class MLP(nn.Module):
    # 用模型参数声明层。这里，我们声明两个全连接的层
    def __init__(self):
        # 调用MLP的父类Module的构造函数来执行必要的初始化。
        # 这样，在类实例化时也可以指定其他函数参数，例如模型参数params（稍后将介绍）
        super().__init__()
        self.hidden = nn.Linear(20, 256)  # 隐藏层
        self.out = nn.Linear(256, 10)  # 输出层

    # 定义模型的前向传播，即如何根据输入X返回所需的模型输出
    def forward(self, X):
        # 注意，这里我们使用ReLU的函数版本，其在nn.functional模块中定义。
        return self.out(F.relu(self.hidden(X)))

除非实现一个新的运算符， 否则不必担心反向传播函数或参数初始化， 系统将自动生成这些。

实例化多层感知机的层，然后在每次调用正向传播函数时调用这些层：

1
2
net = MLP()
net(X)
1
2
3
4
tensor([[ 0.0717, -0.2565,  0.1002,  0.0634, -0.0921,  0.0888,  0.1963,  0.1157,
         -0.0112,  0.1098],
        [ 0.0184, -0.2341,  0.0798,  0.0780, -0.0420,  0.0676,  0.3624,  0.2192,
         -0.0995,  0.2467]], grad_fn=<AddmmBackward>)

块的一个主要优点是它的多功能性，可以子类化块以创建层（如全连接层的类）、整个模型（如上面的MLP类）或具有中等复杂度的各种组件。

顺序块

Sequential类的设计是为了把其他模块串起来，为了构建我们自己的简化的MySequential，只需要定义两个关键函数：

  1. 一种将块逐个追加到列表中的函数。
  2. 一种前向传播函数，用于将输入按追加块的顺序传递给块组成的“链条”。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
class MySequential(nn.Module):
    def __init__(self, *args):
        super().__init__()
        for idx, module in enumerate(args):
            # 这里，module是Module子类的一个实例。我们把它保存在'Module'类的成员
            # 变量_modules中。module的类型是OrderedDict
            self._modules[str(idx)] = module

    def forward(self, X):
        # OrderedDict保证了按照成员添加的顺序遍历它们
        for block in self._modules.values():
            X = block(X)
        return X

net = MySequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256, 10))
net(X)
1
2
3
4
tensor([[ 0.0690,  0.0636, -0.0491,  0.2365,  0.0380,  0.1375,  0.2279,  0.1177,
          0.0438,  0.2582],
        [ 0.1523, -0.0009, -0.0119,  0.2484,  0.0624,  0.0513,  0.1844, -0.0362,
          0.1244,  0.1282]], grad_fn=<AddmmBackward>)

__init__函数将每个模块逐个添加到有序字典_modules中，在模块的参数初始化过程中，系统知道在_modules字典中查找需要初始化参数的子块

在前向传播函数中执行代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
class FixedHiddenMLP(nn.Module):
    def __init__(self):
        super().__init__()
        # 不计算梯度的随机权重参数。因此其在训练期间保持不变
        self.rand_weight = torch.rand((20, 20), requires_grad=False)
        self.linear = nn.Linear(20, 20)

    def forward(self, X):
        X = self.linear(X)
        # 使用创建的常量参数以及relu和mm函数
        X = F.relu(torch.mm(X, self.rand_weight) + 1)
        # 复用全连接层。这相当于两个全连接层共享参数
        X = self.linear(X)
        # 控制流
        while X.abs().sum() > 1:
            X /= 2
        return X.sum()

net = FixedHiddenMLP()
net(X)
1
tensor(-0.2308, grad_fn=<SumBackward0>)

混合搭配各种组合块的方法

1
2
3
4
5
6
7
8
9
10
11
12
class NestMLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.net = nn.Sequential(nn.Linear(20, 64), nn.ReLU(),
                                 nn.Linear(64, 32), nn.ReLU())
        self.linear = nn.Linear(32, 16)

    def forward(self, X):
        return self.linear(self.net(X))

chimera = nn.Sequential(NestMLP(), nn.Linear(16, 20), FixedHiddenMLP())
chimera(X)
1
tensor(-0.2536, grad_fn=<SumBackward0>)

总结

  • 一个块可以由许多层组成；一个块可以由许多块组成
  • 块可以包含代码
  • 块负责大量的内部处理，包括参数初始化和反向传播
  • 层和块的顺序连接由Sequential块处理