卷积层

二维互相关

$\begin{aligned}&0 \times 0+1 \times 1+3 \times 2+4 \times 3=19 \\&1 \times 0+2 \times 1+4 \times 2+5 \times 3=25 \\&3 \times 0+4 \times 1+6 \times 2+7 \times 3=37 \\&4 \times 0+5 \times 1+7 \times 2+8 \times 3=43\end{aligned}$

二维卷积层

输入 $\mathbf{X}: n_{h} \times n_{w}$

核 $\mathbf{W}: k_{h} \times k_{w}$

偏差 $b\in\R$

输出 $\mathbf{Y}:\left(n_{h}-k_{h}+1\right) \times\left(n_{w}-k_{w}+1\right)$

$\mathbf{Y}=\mathbf{X} \star \mathbf{W}+b$

$\star$ 是二维互相关运算，$\mathbf{W}$ 和 $b$ 是可学习的参数

互相关和卷积

二维互相关：

$y_{i, j}=\sum_{a=1}^{h} \sum_{b=1}^{w} w_{a, b} x_{i+a, j+b}$

二维卷积：

$y_{i, j}=\sum_{a=1}^{h} \sum_{b=1}^{w} w_{-a, -b} x_{i+a, j+b}$

由于对称性，在实际使用中没有区别

一维互相关

$y_{i}=\sum_{a=1}^{h} w_{a} x_{i+a}$

可用于文本、语言、时序序列等

三维互相关

$y_{i, j, k}=\sum_{a=1}^{h} \sum_{b=1}^{W} \sum_{c=1}^{d} w_{a, b, c} x_{i+a, j+b, k+c}$

可用于视频、医学图像、气象地图等

总结

• 卷积层将输入和核矩阵进行互相关运算，加上偏移之后得到输出
• 核矩阵和偏移是可学习的参数
• 核矩阵的大小是超参数