一个只读左侧上下文的预训练语言模型原本在预测下一个 token。现在想让它给 river bank 和 bank loan 里的 bank 标注词义,只输出「河岸」或「金融机构」。输出头(output head)负责把模型的内部向量变成指定任务的分数。能否只训练一个新头,取决于取出的向量里有没有足够的线索,以及新头能否把线索读出来。
先决定读哪个向量
只向左看的模型在 bank 位置还没读到右边的 loan。如果需要利用它,可以使用短语最后一个位置的向量,或把多个位置汇总成一个短语向量。这种汇总叫池化(pooling),最简单的做法之一是对有效位置的向量取平均。若换用能同时读左右文的编码器,例如 BERT,也可以取某一层 bank 位置的向量,直接交给词义分类头。(Devlin et al., 2019)
输出头在选定表征之后给出任务分数;注意力头在模型层内混合位置之间的信息,参与形成表征。换读出规则和改写内部计算是两件不同的事,位置关系见前向计算中的表征。以词义标注为例,冻结主干时计算流程是:
带上下文的短语
→ 预训练主干:分词、嵌入与后续各层计算
→ 选定词位置或固定规则汇总:得到 d 维向量 z
→ ★ 新输出头:把 z 转成一个二分类分数
→ 分数大于 0 判作河岸,否则判作金融机构主干(backbone)指产出任务所用隐藏向量的模型部分。在这个流程里,它的参数固定;输入一换,计算出的向量仍然可以不同。训练新头需要带词义标签的样本,原先预测下一个 token 的输出头则不参与这个分类任务。
线性探针量的是「有多容易读」
如果读出只允许计算 ,其中 是学习到的权重向量、 是截距,就得到一个线性探针(linear probe)。它在固定表征上学一条决策边界。假设教学例子中 river bank 和 bank loan 的表征分别是 和 ,用 、,分数分别是 和 。这条规则能把两点分开;真实任务要看同一规则能否分开未见过的上下文。只给头提供同一个 bank 的静态词向量时,两条输入的向量完全相同,任何确定性的头都会给出相同结果。
同样冻结主干,换成有非线性层的下游头,就是另一种固定特征用法。BERT 论文的命名实体识别实验曾把固定的上下文向量送进双向循环网络,再做分类。(Devlin et al., 2019) 这种实验回答「这个下游模型能不能借助该表征完成任务」;线性探针把读出限制为简单的边界,回答的是更窄的问题。线性探针表现差,可能是样本不足、所选层或位置不合适,也可能是信号需要更复杂的读出。
要比较两层的词义表征,可以固定词位置、样本划分、读出容量和评估指标。训练集负责拟合头,验证集负责选择层、读出超参数或池化规则,测试集只评估选好的设置。以多数类作最简单的基线,再加一个只看原始局部词语的基线,有助于判断高分能否用 river 或 loan 这样的表面线索解释。若目标是跨场景泛化,可以让同一来源或相似短语模板只落在一个集合。对包含多个目标词的实验,还可借鉴 Hewitt 与 Liang 的控制任务:给每个词型分配一个固定的随机标签,用同样的读出方法估计它多容易靠记忆词身份取得高分。这个控制用来检查词型记忆,不能直接替代词义分类。(Hewitt & Liang, 2019)
读出成功说明:在这批数据、这层和这类读出规则下,标签可以从向量预测。若想进一步判断原模型生成时是否实际使用这条信息,需要保留原输出头,设计有对照的干预,观察改变某个中间量后指定的生成结果是否变化。干预必须说明改动了什么、是否同时改到别的信息。独立探针的准确率不回答这个因果问题。(Vig et al., 2020)
微调的边界由更新范围决定
如果固定向量上的读出已经满足目标,可以沿用它做分类。想让新任务训练影响向量本身,就要改变产生向量的计算:可以解冻部分原参数,可以解冻全部,也可以固定原参数并训练附加的适配参数。BERT 全量微调把预训练模型与任务输出层一同更新;LoRA 则在选定的映射里学习一份增量。(Devlin et al., 2019; Hu et al., 2022)
| 训练方式 | 训练更新什么 | 原位置的内部向量会怎样 |
|---|---|---|
| 冻结表征,训练线性探针或其他任务头 | 新任务头;用于线性探针的读出保持线性 | 同一输入、固定提取规则和确定性的推理设置下,冻结主干的向量保持一致 |
| 部分微调 | 指定的原参数,可同时训练新任务头 | 改动处及依赖它的后续计算可能改变 |
| 全量微调 | 主干全部参数和用于该任务的输出头均参与训练 | 训练可以改变整个主干的计算 |
| 参数高效微调(PEFT),例如 LoRA | 少量适配参数,可按配置训练其他参数 | 即使基础参数冻结,适配分支也能改变经过它的向量 |
只解冻一块也可以是部分微调;判断依据是哪些原参数参与了优化,层数没有门槛。实践中,直接记录训练了哪一层、哪类矩阵、适配器或任务头,比只写「用过微调」更容易复现。如果下一步是改变主干中的投影,又希望保留预训练参数,LoRA 的低秩增量接着说明一对小矩阵如何做到这件事。