输入 bank 时,语言模型从词表中查一行向量;预测下一个词元时,输出头则要给整个词表打分。当这两步使用同一张参数表时,就叫权重绑定(weight tying)。表只存一份,但对损失有两个影响途径。调整一行既可能改变输入向量,也可能改变词表中的一个分数。(Press & Wolf, 2017; Vaswani et al., 2017)
前向计算在哪两处用到同一张表
设词表大小为 ,隐藏宽度为 ,共享表 的形状为 。把第 行转为列向量记作 。输入 ID 为 时,查表得到 ;主干用它和其他位置信息计算隐藏向量 。输出头再用 对词表打分,暂不考虑偏置。
E [V, d]
│ │
选第 i 行 ↓ ↓ 取所有行作为输出权重
e_i [d] │
↓ │
主干 → h [d] │
└──→ ★ 点积 z = Eh [V]
↓
softmax → 交叉熵损失给第 个候选的分数是 。如果采用行向量记法,同一运算写成 。公式方向可以变,行与词元 ID 的对应关系不变。
只用两个词元,算出两份梯度
设词表只有编号 0、1,每行只有一个数。取 ,输入 ID 0,省略主干,令 。那么两个分数为 。假设正确下一项是 ID 1,记 ,于是 。用交叉熵 ,从分数传回的梯度分别为 和 。
沿输出路径,暂时固定 ,只看 作为打分权重的作用。对 和 的梯度分别是 与 。沿输入路径,暂时固定输出权重,先把两项分数的梯度传回 ,得到 。因为本次 只来自 ,这一项只加给 。
| 参数行 | 从输入查表传回 | 从词表打分传回 | 总梯度 |
|---|---|---|---|
这个算例有两个可直接检查的结果: 的两份梯度大小相等、方向相反,恰好抵消; 虽然没有在输入中查到,仍从输出路径得到了梯度。展开为 、 直接求导,也会得到相同结果。两路贡献来自同一参数的两个使用点,可以不同、相同或抵消,取决于当前数据和计算。Press 与 Wolf 在原论文第 3 节分析了词嵌入更新的这一分解;上表是独立的教学算例。(Press & Wolf, 2017)
推广到整张表,哪些行会受到影响
对一个预测位置,令 为真实词元 ID, 在 时取 1,其他情况取 0。固定 ,全词表 softmax 交叉熵对打分权重这一侧的贡献是:
这一项对每个参加 softmax 的候选都会计算;非目标项也在分母里,通常有贡献。具体大小取决于概率和隐藏向量,多条样本的贡献还可能抵消。如果用采样或掩码改了输出目标,参与的行随之改变。
输入路径则沿主干逐层反传:梯度到达查表结果后,按各次实际用过的 ID 加回相应行。一个位置的损失可以通过注意力影响多个输入位置;同一词元出现多次时,这些位置的贡献加到一行。两路都是对 求导,最终的表梯度都是 ,同一参数只由优化器更新一次。(Press & Wolf, 2017)
冻结表和切断某一路是两种操作
- 冻结 :两处仍可读取它,但不训练这张共享表。其他可训练参数需要的梯度仍可经过相关运算。
- 只切断输入分支:在简单算例里对查表结果
detach,会去掉表的输入贡献;输出打分仍在使用可训练的 ,所以输出贡献保留。在完整模型中,切断位置决定了哪些更早的参数还能学习。 - 把 从优化器移除:参数可以仍参与求导,但这次优化器不根据其梯度更新它。用 PyTorch 冻结时通常还会关闭参数的
requires_grad。PyTorch 自动求导说明
做「冻结表征,只训练新输出头」的实验时,可以另建一个独立的头。如果同时训练与输入表绑定的权重,下一轮查到的向量也会改变。