给语言模型接一个词义分类头,改变的是最后怎样读出答案。如果想让模型内部的线性投影也适应新任务,可以用低秩适配(Low-Rank Adaptation,LoRA):保留预训练投影,同时让两块小矩阵学会为它补上一项输出。模型运行时,两路结果在同一个投影位置相加。(Hu et al., 2022)
一次投影怎样加上修正
假设有个教学用的线性层,把两个数变成三个数。对输入 ,原投影矩阵 输出 。现在用一条小分支: 先计算两个输入数之差,得到 ; 再用这个数把向量 放大 倍。把修正值 加回原输出,就得到 。这两个小矩阵的值是为了便于手算而设定的,实际应用会从数据中学习。
这里 是输入列向量, 的形状是 。LoRA 选定一个小整数 ,让 将输入映到 维, 再将这 个数变成与原输出等长的修正。原论文用 缩放这个修正, 是由配置指定的尺度。忽略偏置时,输出为:(Hu et al., 2022)
上述例子取 ,矩阵具体为:
这个例子的 。无论喂给这一层什么输入,新增输出只能是 那一列的倍数。一般地, 有 列,修正向量只能落在这些列张成的空间里,所以 的秩至多为 。 约束的是单个投影可组合的修正方向数,不限制修正的大小。把多个这样的投影放进网络,后续注意力和非线性会接着处理变过的向量;无法仅凭一个秩的数字判断模型能学会哪些行为。
4096 × 4096 是一块矩阵
每个 Transformer 层的注意力模块都有查询(Q)、键(K)、值(V)投影,算完注意力后还有输出投影。查询向量用于寻找匹配的键;值向量用于加权汇总。实现可以把多个投影打包保存,读参数配置时仍要辨认每块权重对应哪个投影。经典多头注意力可以把 Q、K、V 做成同尺寸的方阵。分组查询注意力(GQA)让多个查询头共用较少的键和值头;每头宽度相同时,K 和 V 的投影输出维数比 Q 小。(Ainslie et al., 2023; Vaswani et al., 2017)
把一块 的权重全部设为可训练,共有 个参数可更新。若这块只训练 的 LoRA, 和 各有 个数,合计 个,是原矩阵参数量的约 。假设一个 Transformer 有 32 层,每层只在同样尺寸的 Q、V 上各加一对,整网共有 64 对低秩矩阵,合计 个新增可训练参数。这个总数只计 LoRA,前面的 也只以一块原矩阵为分母。若某个投影是长方形,按它实际的输入和输出维数计算 ,再加总所有选中的投影。一起训练的偏置或任务头应另计。
在这一设定中,每一块被选中的权重都有自己的 、,它们由同一训练损失共同更新。LoRA 原论文在 Transformer 上检验了几种投影组合;选 Q 和 V 是一个经过试验的配置,使用者还可以针对任务选择别的投影。(Hu et al., 2022)
训练和部署各需要保留什么
原论文把 随机初始化、把 初始化为零,因而开始时 ,该投影的输出与预训练版本一致。训练时用新任务的损失更新 、。基础权重 保持不变,仍参与前向计算;梯度也可以经过冻结计算传到更前面的可训练分支。冻结的权重无需为参数更新分配优化器状态,实际显存开销还包括基础权重与训练所需的中间激活。(Hu et al., 2022)
部署时如果只服务一个适配版本,把学习到的增量合成 ,用一次普通线性投影就能得到同一数学结果。在教学例子中,合并后的矩阵各行是 、、,乘 仍是 。若同时维护多个任务版本,可以共享同一底座,分别保存各自的 、;推理时保留分支就仍需做两次小投影再相加。合并等价指固定增量、无训练时随机掩码的线性计算;实际结果可能受舍入影响,量化权重还要看后端是否支持合并及如何重新量化。(Hu et al., 2022) PEFT 的 LoRA 文档
同样冻结底座,可以改三个不同位置
如果都希望少更新原模型参数,方法之间最直接的区别是新参数在哪一步影响计算:
| 方法 | 新参数的位置 | 对模型计算的影响 |
|---|---|---|
| LoRA | 被选中投影旁的两块小矩阵 | 给同一个线性投影补一项;满足条件时可合并回权重。(Hu et al., 2022) |
| 瓶颈适配器(adapter) | 接在已有子层输出上的小模块 | 将向量降维,做非线性变换,再升回原维度并和输入相加。原始方案还会训练每任务的归一化参数和输出层。(Houlsby et al., 2019) |
| 软提示微调(prompt tuning) | 拼接到输入嵌入前的一组可训练向量 | 底座的映射保持原样,模型读入的序列改变;软提示占用输入位置。(Lester et al., 2021) |
用 LoRA 改模型时,配置至少要交代三项:改哪些模块、每个投影选多大的秩和缩放、部署时是否保留分支。训练结束后,判断适配是否成功,仍要回到独立任务数据上的结果;参数比例告诉我们训练了多少,不能代替这项验证。如何区分适配后的性能与冻结表征本来就有的能力,可继续读换输出头与微调的边界。