一个只读左侧上下文的预训练语言模型原本在预测下一个 token。现在想让它给 river bank 和 bank loan 里的 bank 标注词义,只输出「河岸」或「金融机构」。输出头(output head)负责把模型的内部向量变成指定任务的分数。能否只训练一个新头,取决于取出的向量里有没有足够的线索,以及新头能否把线索读出来。

先决定读哪个向量

只向左看的模型在 bank 位置还没读到右边的 loan。如果需要利用它,可以使用短语最后一个位置的向量,或把多个位置汇总成一个短语向量。这种汇总叫池化(pooling),最简单的做法之一是对有效位置的向量取平均。若换用能同时读左右文的编码器,例如 BERT,也可以取某一层 bank 位置的向量,直接交给词义分类头。(Devlin et al., 2019)

输出头在选定表征之后给出任务分数;注意力头在模型层内混合位置之间的信息,参与形成表征。换读出规则和改写内部计算是两件不同的事,位置关系见前向计算中的表征。以词义标注为例,冻结主干时计算流程是:

带上下文的短语
  → 预训练主干:分词、嵌入与后续各层计算
  → 选定词位置或固定规则汇总:得到 d 维向量 z
  → ★ 新输出头:把 z 转成一个二分类分数
  → 分数大于 0 判作河岸,否则判作金融机构

主干(backbone)指产出任务所用隐藏向量的模型部分。在这个流程里,它的参数固定;输入一换,计算出的向量仍然可以不同。训练新头需要带词义标签的样本,原先预测下一个 token 的输出头则不参与这个分类任务。

线性探针量的是「有多容易读」

如果读出只允许计算 ,其中 是学习到的权重向量、 是截距,就得到一个线性探针(linear probe)。它在固定表征上学一条决策边界。假设教学例子中 river bank 和 bank loan 的表征分别是 和 ,用 、,分数分别是 和 。这条规则能把两点分开;真实任务要看同一规则能否分开未见过的上下文。只给头提供同一个 bank 的静态词向量时,两条输入的向量完全相同,任何确定性的头都会给出相同结果。

同样冻结主干,换成有非线性层的下游头,就是另一种固定特征用法。BERT 论文的命名实体识别实验曾把固定的上下文向量送进双向循环网络,再做分类。(Devlin et al., 2019) 这种实验回答「这个下游模型能不能借助该表征完成任务」;线性探针把读出限制为简单的边界,回答的是更窄的问题。线性探针表现差,可能是样本不足、所选层或位置不合适,也可能是信号需要更复杂的读出。

要比较两层的词义表征,可以固定词位置、样本划分、读出容量和评估指标。训练集负责拟合头,验证集负责选择层、读出超参数或池化规则,测试集只评估选好的设置。以多数类作最简单的基线,再加一个只看原始局部词语的基线,有助于判断高分能否用 river 或 loan 这样的表面线索解释。若目标是跨场景泛化,可以让同一来源或相似短语模板只落在一个集合。对包含多个目标词的实验,还可借鉴 Hewitt 与 Liang 的控制任务:给每个词型分配一个固定的随机标签,用同样的读出方法估计它多容易靠记忆词身份取得高分。这个控制用来检查词型记忆,不能直接替代词义分类。(Hewitt & Liang, 2019)

读出成功说明:在这批数据、这层和这类读出规则下,标签可以从向量预测。若想进一步判断原模型生成时是否实际使用这条信息,需要保留原输出头,设计有对照的干预,观察改变某个中间量后指定的生成结果是否变化。干预必须说明改动了什么、是否同时改到别的信息。独立探针的准确率不回答这个因果问题。(Vig et al., 2020)

微调的边界由更新范围决定

如果固定向量上的读出已经满足目标,可以沿用它做分类。想让新任务训练影响向量本身,就要改变产生向量的计算:可以解冻部分原参数,可以解冻全部,也可以固定原参数并训练附加的适配参数。BERT 全量微调把预训练模型与任务输出层一同更新;LoRA 则在选定的映射里学习一份增量。(Devlin et al., 2019; Hu et al., 2022)

训练方式训练更新什么原位置的内部向量会怎样
冻结表征,训练线性探针或其他任务头新任务头;用于线性探针的读出保持线性同一输入、固定提取规则和确定性的推理设置下,冻结主干的向量保持一致
部分微调指定的原参数,可同时训练新任务头改动处及依赖它的后续计算可能改变
全量微调主干全部参数和用于该任务的输出头均参与训练训练可以改变整个主干的计算
参数高效微调(PEFT),例如 LoRA少量适配参数,可按配置训练其他参数即使基础参数冻结,适配分支也能改变经过它的向量

只解冻一块也可以是部分微调;判断依据是哪些原参数参与了优化,层数没有门槛。实践中,直接记录训练了哪一层、哪类矩阵、适配器或任务头,比只写「用过微调」更容易复现。如果下一步是改变主干中的投影,又希望保留预训练参数,LoRA 的低秩增量接着说明一对小矩阵如何做到这件事。

返回表征学习专题

参考文献

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 4171–4186. https://doi.org/10.18653/v1/N19-1423
Hewitt, J., & Liang, P. (2019). Designing and Interpreting Probes with Control Tasks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 2733–2743. https://doi.org/10.18653/v1/D19-1275
Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations. https://openreview.net/forum?id=nZeVKeeFYf9
Vig, J., Gehrmann, S., Belinkov, Y., Qian, S., Nevo, D., Singer, Y., & Shieber, S. (2020). Investigating Gender Bias in Language Models Using Causal Mediation Analysis. Advances in Neural Information Processing Systems, 33, 12388–12401. https://proceedings.neurips.cc/paper/2020/hash/92650b2e92217715fe312e6fa7b90d82-Abstract.html