不带参数的层

CenteredLayer类要从其输入中减去均值,要构建它只需继承基础层类并实现前向传播功能。

1
2
3
4
5
6
7
8
9
10
11
12
13
import torch
import torch.nn.functional as F
from torch import nn

class CenteredLayer(nn.Module):
  def __init__(self):
    super().__init__()

  def forward(self, X):
    return X - X.mean()

layer = CenteredLayer()
layer(torch.FloatTensor([1, 2, 3, 4, 5]))
1
tensor([-2., -1.,  0.,  1.,  2.])

可以将层作为组件合并到构建更复杂的模型中：

1
2
3
4
net = nn.Sequential(nn.Linear(8, 128), CenteredLayer())

Y = net(torch.rand(4, 8))
Y.mean()
1
tensor(3.2596e-09, grad_fn=<MeanBackward0>)

带参数的层

定义具有参数的层，这些参数可以通过训练进行调整。我们可以使用内置函数来创建参数，这些函数提供一些基本的管理功能，比如管理访问、初始化、共享、保存和加载模型参数。这样做的好处之一是不需要为每个自定义层编写自定义的序列化程序。

实现自定义版本的全连接层，该层需要两个参数，一个用于表示权重，另一个用于表示偏置项。在此实现中使用修正线性单元作为激活函数。该层需要输入参数：in_units和units，分别表示输入数和输出数。

1
2
3
4
5
6
7
8
9
10
11
12
class MyLinear(nn.Module):
  def __init__(self, in_units, units):
    super().__init__()
    self.weight = nn.Parameter(torch.randn(in_units, units))
    self.bias = nn.Parameter(torch.randn(units,))

  def forward(self, X):
    linear = torch.matmul(X, self.weight.data) + self.bias.data
    return F.relu(linear)

linear = MyLinear(5, 3)
linear.weight
1
2
3
4
5
6
Parameter containing:
tensor([[-0.1233,  0.3139,  0.0196],
     [-0.0086,  0.5102,  0.6353],
     [-0.7644,  1.7612, -0.6356],
     [-0.1073, -1.1549,  0.3949],
     [ 0.5108, -0.6334,  0.8278]], requires_grad=True)

可以使用自定义层直接执行正向传播计算：

1
linear(torch.rand(2, 5))
1
2
tensor([[0.0000, 0.0000, 2.3412],
     [0.0000, 0.7310, 2.1163]])

还可以使用自定义层构建模型：

1
2
net = nn.Sequential(MyLinear(64, 8), MyLinear(8, 1))
net(torch.rand(2, 64))
1
2
tensor([[1.8784],
        [2.8345]])

总结

  • 我们可以通过基本层类设计自定义层。这允许我们定义灵活的新层，其行为与深度学习框架中的任何现有层不同。
  • 在自定义层定义完成后，我们就可以在任意环境和网络架构中调用该自定义层。
  • 层可以有局部参数，这些参数可以通过内置函数创建。