表征是模型用来表示数据的一组数。表征学习,就是让模型学会怎么算出这组数,供后面的任务使用。 在语言模型里,一句话可以用一串向量表示;在图像模型里,一张图可以用保留长宽位置的数值网格表示。接下来看一个最小的例子:同一个词在两句话里,模型该用同一组数表示它吗?
例如,by the river bank 里的 bank 指河岸,approved by the bank 里的 bank 指银行。假设两处 bank 被分到同一个词元,模型最初查到的就是同一个向量。可到了后面的层,这两个向量可以不一样。沿着这个变化看下去,就能分清模型有哪些表征,以及我们为什么能用同一个模型做不同任务。
分词给编号,嵌入给向量
文本先经过分词(tokenization),被切成词元(token),再按词表换成编号。假设一个教学词表把 river、bank、loan 编成 0、1、2,那么 river bank 就是 [0, 1]。BPE 构建词表时会统计符号对出现的频次,但分给词元的编号是个索引:编号 2 不比编号 1 更常见,也不能拿两个编号相减来衡量词义。(Sennrich et al., 2016)
模型拿着编号 1,到输入嵌入表里取第 1 号那一行。如果这一行是 [-0.3, 0.9],那么两处 bank 都从这两个数出发。实际的嵌入表通常有 行、 列: 是词表大小,每一列对应向量的一个坐标。整张表是模型参数;查出来的一行,是这个词元在入口处的表示。 预训练后的表可以继续更新,也可以冻结下来供后续任务使用。(Vaswani et al., 2017)
查表是文本模型常用的入口。图像也可以切成小块(patch),再直接用每块的像素算出一个向量,就像原始 ViT 那样。采用码本等离散化方案时,图像小块也可以用 ID 表示。分词、图像切块和嵌入。(Dosovitskiy et al., 2021; van den Oord et al., 2017)
这一步和静态词向量有相通之处:同一个词条,每次都取同一组数。词向量可以通过 Word2Vec 学,也可以先统计词与上下文的共现,再分解矩阵。但 Transformer 查到这一行以后,还会接着计算。这里有个问题:查到的行明明一样,哪一步让模型分清两处 bank?(Levy & Goldberg, 2014; Mikolov et al., 2013)
隐藏状态就是某一层、某一位置算出来的一列数
答案在前面的词里。读到 by the river bank 时,bank 的位置可以从 river 获得线索;读到 approved by the bank 时,能用到的是 approved 等前文。Transformer 的自注意力会为可见位置分配权重,把其他位置的内容合进当前位置。每过一层,模型就为当前序列的每个位置重算一组数,这就是该层的隐藏状态。网络宽度可以始终是 ,但这组数已经从「词表上存的一行」变成了「这个词在这段话里的表示」。训练好的参数不动,换一句话,隐藏状态也可以变。(Vaswani et al., 2017)
这里看的是从左往右续写的语言模型,每个位置可以看自己和左侧。比如在 bank loan 里,loan 处的向量能用到左边的 bank;在能看左右两侧的 BERT 里,bank 处的向量也能用到右边的 loan。模型还要知道词的先后关系,具体怎样加入位置信息,可以接着看位置编码。(Devlin et al., 2019; Vaswani et al., 2017)
词表位置是编号,里面的值是分数
现在 bank 已经有了结合前文的向量。可模型要续写,最终得选出一个词元。一个 维的向量,怎么变成对整个词表的选择?
最后一层给序列里的每个位置各留一个向量。输出头拿到这些向量,给每个位置算一套词表分数,每个分数称为一个 logit。设 是一批里的序列数, 是每条序列的长度, 是模型块数。把同一批序列上的各个位置一起写出来,计算形状如下。(Radford et al., 2019; Vaswani et al., 2017)
原始文本
→ 分词和编号:token IDs [B, T]
→ 查嵌入表:每个位置一个起始向量 [B, T, d_model]
→ 第 1 层 … 第 L 层:每层更新所有位置的向量 [B, T, d_model]
→ ★ 输出头:给每个位置的下一词元打分,logits [B, T, V]
→ softmax:沿词表这一维把分数变成概率 [B, T, V]
→ 续写时:取每条序列最后一个有效位置的分数或概率,选出下一词元 ID只取一个位置看,设它的末端向量是行向量 ,输出矩阵 的形状是 。这一位置的分数是 , 是可选的偏置。 的第 项给 ID 为 的词元打分。索引是编号,索引处的值才是分数。
假设这个教学词表里只有三项,模型给出的分数是 。softmax 先对每项取指数,得到 ,再除以总和 6,得到 。如果选最大值(argmax),取到的是第 2 号词元,不是分数 或概率 。也可以按分布采样,给其他词元一次被选中的机会。选出的编号接到前缀后,再成为下一步输入。注意力头和输出头都叫「头」,前者在模型层内汇入上下文,后者在层算完之后负责给词表打分。(Vaswani et al., 2017)
生成在选词,训练在改参数
模型生成时,要从词表里选一个词元接着写。训练时,真实文本已经给出了下一项,直接拿它给模型打分。还是用刚才的例子:正确答案若是 ID 2,模型给它的概率是 ,这一位置的交叉熵就是 。正确项的概率越低,损失越大。一段训练文本里,每个有下一项的位置都能用同样的方法算损失。这些损失汇总后,反向传播算出参数的梯度,优化器再据此更新可训练参数。(Radford et al., 2019) 交叉熵的计算。
这也回答了表征学习发生在哪里:如果嵌入、模型各层和输出头一起训练,同一个损失能改变从查表到打分的整条计算。模型逐渐学会怎样用上下文,才能把真正的后续词元打得更高。这里的「端到端」可以具体说成:从词元编号查出向量,到预测下一词元并计算损失。固定的分词规则仍在输入流程中,但不靠这条梯度更新。换个训练目标,向量要保留的线索也会改变。比如 SimCLR 从同一张图造出两个不同视图,用它们做对比训练;训练后再用编码器输出做分类。(Chen et al., 2020; Rumelhart et al., 1986)
有些语言模型在入口和出口复用同一张表,这叫权重绑定(weight tying)。输入端从 取一行;输出端让 和 的每一行做点积。按上面的行向量写法,,分数就是 (先略去偏置)。既然 用了两次,损失就能沿查表和打分两条路传回它。两份梯度的形状都与 相同,各自算出的数可以不同,最后逐项相加。查表只会给查到的行贡献梯度;完整词表的 softmax 让没查到的行也可能通过打分收到梯度。如果 冻结,就保留原来的数值。两词元例子:把两路梯度分别算出来。(Press & Wolf, 2017; Vaswani et al., 2017)
不预测下一词,换成判断词义呢?
现在回到两处 bank。如果任务变成判断「河岸」还是「银行」,可以保留产生隐藏状态的部分,也就是主干(backbone),把同一位置的向量交给一个新的分类头。这次头只需要给两个类别打分;如果换成回归任务,头也可以直接给出一个数。原来的词表头读的是「下一个词元是什么」,新头读的是「这一处 bank 是什么意思」。
这给了我们一个检验表征的办法:先把主干冻结,用带标签的例句只训练一个线性分类器,再去判断没见过的例句。这叫线性探测。可以在同一份数据上分别用输入嵌入和隐藏状态做这个实验:在两处 bank 的输入 ID 相同、且只给分类器这一行的情况下,它们的答案必然相同;如果隐藏状态上的分类器能分开新例句,就说明它读到了静态查表没有区分的东西。原来的语言模型续写时是否也用到了这些线索,还要看改变这些线索会不会影响它原本的输出。怎样设置探针和对照。(Devlin et al., 2019; Hewitt & Liang, 2019; Vig et al., 2020)
还可以把不同句子的向量画出来,看「河岸」和「银行」会不会在图上分开。PCA、t-SNE、UMAP 都能给出观察线索,但二维图会改变一部分原空间的关系。要判断表征能否用来分类或检索,仍应在留出的数据上测分类或检索本身。如何读降维图。(McInnes et al., 2018; van der Maaten & Hinton, 2008)
只换头还不够,就让主干跟着新任务学
前一步只训练新头,同一输入在固定的推理设置下仍会得到原来的主干向量。如果新任务所需的信息很难从这些向量读出,可以加载预训练权重,让新任务的损失去改变产生向量的计算。解冻一部分是部分微调;让全部参数参与更新是全参数微调。也可以用同一个架构从头初始化再训练,那时用的是同一种计算结构,起点却没有继承预训练权重。(Devlin et al., 2019)
这里要分开看梯度经过哪里和优化器更新什么。只训头时,可以提前把主干向量算好;也可以在接入新头前用 detach,切断回主干的反向连接。但如果冻结层前面还有可训练模块,可能仍需要让梯度穿过冻结层,才能更新更早的模块。如果输入表和词表头绑定,想严格固定主干,就要保持共享参数不变,并使用独立的新头。PyTorch 自动求导说明。(Press & Wolf, 2017)
还有一种做法:在已有权重上学一份小改动。LoRA 在选中的线性投影旁边加两块可训练矩阵。新分支先把输入变成低维向量,再映射回原投影的输出宽度,把结果加到原投影的输出上。对这一投影,只更新新增的两块矩阵,就能改变它算出的表示。两块矩阵怎样相乘、固定后的改动怎样并回原权重,见 LoRA 的低秩更新。(Hu et al., 2022)
生成图片时,表征也可以是模型正在改变的东西
文字续写要决定接下来放哪个词元。如果生成的是一张图,模型也可以直接改图像的表征。以文字引导的潜扩散为例:先训练一对编码器和解码器,让图片可以压缩成数值网格,再从网格还原成像素。正式生成时,模型从噪声网格出发,参考文字向量,不断更新整张网格,最后才把它解码成图片。这里同时有两种表征:文字向量提供条件,图像网格是模型正在更新的对象。文本续写和潜空间去噪。(Rombach et al., 2022)
回到开头的两处 bank:查表给它们同一个起点,前文让它们得到不同的表示。我们可以拿这些表示续写,也可以换一个头来判断词义。要知道一种表示适不适合新任务,就选定读法,再拿没见过的数据试一试。