输入 bank 时,语言模型从词表中查一行向量;预测下一个词元时,输出头则要给整个词表打分。当这两步使用同一张参数表时,就叫权重绑定(weight tying)。表只存一份,但对损失有两个影响途径。调整一行既可能改变输入向量,也可能改变词表中的一个分数。(Press & Wolf, 2017; Vaswani et al., 2017)

前向计算在哪两处用到同一张表

设词表大小为 ,隐藏宽度为 ,共享表 的形状为 。把第 行转为列向量记作 。输入 ID 为 时,查表得到 ;主干用它和其他位置信息计算隐藏向量 。输出头再用 对词表打分,暂不考虑偏置。

                         E [V, d]
                         │      │
             选第 i 行 ↓      ↓ 取所有行作为输出权重
                      e_i [d]   │
                         ↓      │
              主干 → h [d]    │
                         └──→ ★ 点积 z = Eh [V]
                                ↓
                         softmax → 交叉熵损失

给第 个候选的分数是 。如果采用行向量记法,同一运算写成 。公式方向可以变,行与词元 ID 的对应关系不变。

只用两个词元,算出两份梯度

设词表只有编号 0、1,每行只有一个数。取 ,输入 ID 0,省略主干,令 。那么两个分数为 。假设正确下一项是 ID 1,记 ,于是 。用交叉熵 ,从分数传回的梯度分别为 和 。

沿输出路径,暂时固定 ,只看 作为打分权重的作用。对 和 的梯度分别是 与 。沿输入路径,暂时固定输出权重,先把两项分数的梯度传回 ,得到 。因为本次 只来自 ,这一项只加给 。

参数行从输入查表传回从词表打分传回总梯度

这个算例有两个可直接检查的结果: 的两份梯度大小相等、方向相反,恰好抵消; 虽然没有在输入中查到,仍从输出路径得到了梯度。展开为 、 直接求导,也会得到相同结果。两路贡献来自同一参数的两个使用点,可以不同、相同或抵消,取决于当前数据和计算。Press 与 Wolf 在原论文第 3 节分析了词嵌入更新的这一分解;上表是独立的教学算例。(Press & Wolf, 2017)

推广到整张表,哪些行会受到影响

对一个预测位置,令 为真实词元 ID, 在 时取 1,其他情况取 0。固定 ,全词表 softmax 交叉熵对打分权重这一侧的贡献是:

这一项对每个参加 softmax 的候选都会计算;非目标项也在分母里,通常有贡献。具体大小取决于概率和隐藏向量,多条样本的贡献还可能抵消。如果用采样或掩码改了输出目标,参与的行随之改变。

输入路径则沿主干逐层反传:梯度到达查表结果后,按各次实际用过的 ID 加回相应行。一个位置的损失可以通过注意力影响多个输入位置;同一词元出现多次时,这些位置的贡献加到一行。两路都是对 求导,最终的表梯度都是 ,同一参数只由优化器更新一次。(Press & Wolf, 2017)

冻结表和切断某一路是两种操作

  • 冻结 :两处仍可读取它,但不训练这张共享表。其他可训练参数需要的梯度仍可经过相关运算。
  • 只切断输入分支:在简单算例里对查表结果 detach,会去掉表的输入贡献;输出打分仍在使用可训练的 ,所以输出贡献保留。在完整模型中,切断位置决定了哪些更早的参数还能学习。
  • 把 从优化器移除:参数可以仍参与求导,但这次优化器不根据其梯度更新它。用 PyTorch 冻结时通常还会关闭参数的 requires_grad。PyTorch 自动求导说明

做「冻结表征,只训练新输出头」的实验时,可以另建一个独立的头。如果同时训练与输入表绑定的权重,下一轮查到的向量也会改变。

回到表征学习:模型怎样把输入变成可用的信息。

参考文献

Press, O., & Wolf, L. (2017). Using the Output Embedding to Improve Language Models. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, 157–163. https://aclanthology.org/E17-2025/
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. https://papers.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html