表征是模型用来表示数据的一组数。表征学习,就是让模型学会怎么算出这组数,供后面的任务使用。 在语言模型里,一句话可以用一串向量表示;在图像模型里,一张图可以用保留长宽位置的数值网格表示。接下来看一个最小的例子:同一个词在两句话里,模型该用同一组数表示它吗?

例如,by the river bank 里的 bank 指河岸,approved by the bank 里的 bank 指银行。假设两处 bank 被分到同一个词元,模型最初查到的就是同一个向量。可到了后面的层,这两个向量可以不一样。沿着这个变化看下去,就能分清模型有哪些表征,以及我们为什么能用同一个模型做不同任务。

分词给编号,嵌入给向量

文本先经过分词(tokenization),被切成词元(token),再按词表换成编号。假设一个教学词表把 river、bank、loan 编成 0、1、2,那么 river bank 就是 [0, 1]。BPE 构建词表时会统计符号对出现的频次,但分给词元的编号是个索引:编号 2 不比编号 1 更常见,也不能拿两个编号相减来衡量词义。(Sennrich et al., 2016)

模型拿着编号 1,到输入嵌入表里取第 1 号那一行。如果这一行是 [-0.3, 0.9],那么两处 bank 都从这两个数出发。实际的嵌入表通常有 行、 列: 是词表大小,每一列对应向量的一个坐标。整张表是模型参数;查出来的一行,是这个词元在入口处的表示。 预训练后的表可以继续更新,也可以冻结下来供后续任务使用。(Vaswani et al., 2017)

查表是文本模型常用的入口。图像也可以切成小块(patch),再直接用每块的像素算出一个向量,就像原始 ViT 那样。采用码本等离散化方案时,图像小块也可以用 ID 表示。分词、图像切块和嵌入。(Dosovitskiy et al., 2021; van den Oord et al., 2017)

这一步和静态词向量有相通之处:同一个词条,每次都取同一组数。词向量可以通过 Word2Vec 学,也可以先统计词与上下文的共现,再分解矩阵。但 Transformer 查到这一行以后,还会接着计算。这里有个问题:查到的行明明一样,哪一步让模型分清两处 bank?(Levy & Goldberg, 2014; Mikolov et al., 2013)

隐藏状态就是某一层、某一位置算出来的一列数

答案在前面的词里。读到 by the river bank 时,bank 的位置可以从 river 获得线索;读到 approved by the bank 时,能用到的是 approved 等前文。Transformer 的自注意力会为可见位置分配权重,把其他位置的内容合进当前位置。每过一层,模型就为当前序列的每个位置重算一组数,这就是该层的隐藏状态。网络宽度可以始终是 ,但这组数已经从「词表上存的一行」变成了「这个词在这段话里的表示」。训练好的参数不动,换一句话,隐藏状态也可以变。(Vaswani et al., 2017)

这里看的是从左往右续写的语言模型,每个位置可以看自己和左侧。比如在 bank loan 里,loan 处的向量能用到左边的 bank;在能看左右两侧的 BERT 里,bank 处的向量也能用到右边的 loan。模型还要知道词的先后关系,具体怎样加入位置信息,可以接着看位置编码。(Devlin et al., 2019; Vaswani et al., 2017)

词表位置是编号,里面的值是分数

现在 bank 已经有了结合前文的向量。可模型要续写,最终得选出一个词元。一个 维的向量,怎么变成对整个词表的选择?

最后一层给序列里的每个位置各留一个向量。输出头拿到这些向量,给每个位置算一套词表分数,每个分数称为一个 logit。设 是一批里的序列数, 是每条序列的长度, 是模型块数。把同一批序列上的各个位置一起写出来,计算形状如下。(Radford et al., 2019; Vaswani et al., 2017)

原始文本
  → 分词和编号:token IDs [B, T]
  → 查嵌入表:每个位置一个起始向量 [B, T, d_model]
  → 第 1 层 … 第 L 层:每层更新所有位置的向量 [B, T, d_model]
  → ★ 输出头:给每个位置的下一词元打分,logits [B, T, V]
  → softmax:沿词表这一维把分数变成概率 [B, T, V]
  → 续写时:取每条序列最后一个有效位置的分数或概率,选出下一词元 ID

只取一个位置看,设它的末端向量是行向量 ,输出矩阵 的形状是 。这一位置的分数是 , 是可选的偏置。 的第 项给 ID 为 的词元打分。索引是编号,索引处的值才是分数。

假设这个教学词表里只有三项,模型给出的分数是 。softmax 先对每项取指数,得到 ,再除以总和 6,得到 。如果选最大值(argmax),取到的是第 2 号词元,不是分数 或概率 。也可以按分布采样,给其他词元一次被选中的机会。选出的编号接到前缀后,再成为下一步输入。注意力头和输出头都叫「头」,前者在模型层内汇入上下文,后者在层算完之后负责给词表打分。(Vaswani et al., 2017)

生成在选词,训练在改参数

模型生成时,要从词表里选一个词元接着写。训练时,真实文本已经给出了下一项,直接拿它给模型打分。还是用刚才的例子:正确答案若是 ID 2,模型给它的概率是 ,这一位置的交叉熵就是 。正确项的概率越低,损失越大。一段训练文本里,每个有下一项的位置都能用同样的方法算损失。这些损失汇总后,反向传播算出参数的梯度,优化器再据此更新可训练参数。(Radford et al., 2019) 交叉熵的计算。

这也回答了表征学习发生在哪里:如果嵌入、模型各层和输出头一起训练,同一个损失能改变从查表到打分的整条计算。模型逐渐学会怎样用上下文,才能把真正的后续词元打得更高。这里的「端到端」可以具体说成:从词元编号查出向量,到预测下一词元并计算损失。固定的分词规则仍在输入流程中,但不靠这条梯度更新。换个训练目标,向量要保留的线索也会改变。比如 SimCLR 从同一张图造出两个不同视图,用它们做对比训练;训练后再用编码器输出做分类。(Chen et al., 2020; Rumelhart et al., 1986)

有些语言模型在入口和出口复用同一张表,这叫权重绑定(weight tying)。输入端从 取一行;输出端让 和 的每一行做点积。按上面的行向量写法,,分数就是 (先略去偏置)。既然 用了两次,损失就能沿查表和打分两条路传回它。两份梯度的形状都与 相同,各自算出的数可以不同,最后逐项相加。查表只会给查到的行贡献梯度;完整词表的 softmax 让没查到的行也可能通过打分收到梯度。如果 冻结,就保留原来的数值。两词元例子:把两路梯度分别算出来。(Press & Wolf, 2017; Vaswani et al., 2017)

不预测下一词,换成判断词义呢?

现在回到两处 bank。如果任务变成判断「河岸」还是「银行」,可以保留产生隐藏状态的部分,也就是主干(backbone),把同一位置的向量交给一个新的分类头。这次头只需要给两个类别打分;如果换成回归任务,头也可以直接给出一个数。原来的词表头读的是「下一个词元是什么」,新头读的是「这一处 bank 是什么意思」。

这给了我们一个检验表征的办法:先把主干冻结,用带标签的例句只训练一个线性分类器,再去判断没见过的例句。这叫线性探测。可以在同一份数据上分别用输入嵌入和隐藏状态做这个实验:在两处 bank 的输入 ID 相同、且只给分类器这一行的情况下,它们的答案必然相同;如果隐藏状态上的分类器能分开新例句,就说明它读到了静态查表没有区分的东西。原来的语言模型续写时是否也用到了这些线索,还要看改变这些线索会不会影响它原本的输出。怎样设置探针和对照。(Devlin et al., 2019; Hewitt & Liang, 2019; Vig et al., 2020)

还可以把不同句子的向量画出来,看「河岸」和「银行」会不会在图上分开。PCA、t-SNE、UMAP 都能给出观察线索,但二维图会改变一部分原空间的关系。要判断表征能否用来分类或检索,仍应在留出的数据上测分类或检索本身。如何读降维图。(McInnes et al., 2018; van der Maaten & Hinton, 2008)

只换头还不够,就让主干跟着新任务学

前一步只训练新头,同一输入在固定的推理设置下仍会得到原来的主干向量。如果新任务所需的信息很难从这些向量读出,可以加载预训练权重,让新任务的损失去改变产生向量的计算。解冻一部分是部分微调;让全部参数参与更新是全参数微调。也可以用同一个架构从头初始化再训练,那时用的是同一种计算结构,起点却没有继承预训练权重。(Devlin et al., 2019)

这里要分开看梯度经过哪里和优化器更新什么。只训头时,可以提前把主干向量算好;也可以在接入新头前用 detach,切断回主干的反向连接。但如果冻结层前面还有可训练模块,可能仍需要让梯度穿过冻结层,才能更新更早的模块。如果输入表和词表头绑定,想严格固定主干,就要保持共享参数不变,并使用独立的新头。PyTorch 自动求导说明。(Press & Wolf, 2017)

还有一种做法:在已有权重上学一份小改动。LoRA 在选中的线性投影旁边加两块可训练矩阵。新分支先把输入变成低维向量,再映射回原投影的输出宽度,把结果加到原投影的输出上。对这一投影,只更新新增的两块矩阵,就能改变它算出的表示。两块矩阵怎样相乘、固定后的改动怎样并回原权重,见 LoRA 的低秩更新。(Hu et al., 2022)

生成图片时,表征也可以是模型正在改变的东西

文字续写要决定接下来放哪个词元。如果生成的是一张图,模型也可以直接改图像的表征。以文字引导的潜扩散为例:先训练一对编码器和解码器,让图片可以压缩成数值网格,再从网格还原成像素。正式生成时,模型从噪声网格出发,参考文字向量,不断更新整张网格,最后才把它解码成图片。这里同时有两种表征:文字向量提供条件,图像网格是模型正在更新的对象。文本续写和潜空间去噪。(Rombach et al., 2022)

回到开头的两处 bank:查表给它们同一个起点,前文让它们得到不同的表示。我们可以拿这些表示续写,也可以换一个头来判断词义。要知道一种表示适不适合新任务,就选定读法,再拿没见过的数据试一试。

参考文献

Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning, 119, 1597–1607. https://proceedings.mlr.press/v119/chen20j.html
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 4171–4186. https://doi.org/10.18653/v1/N19-1423
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. International Conference on Learning Representations. https://openreview.net/forum?id=YicbFdNTTy
Hewitt, J., & Liang, P. (2019). Designing and Interpreting Probes with Control Tasks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 2733–2743. https://doi.org/10.18653/v1/D19-1275
Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations. https://openreview.net/forum?id=nZeVKeeFYf9
Levy, O., & Goldberg, Y. (2014). Neural Word Embedding as Implicit Matrix Factorization. Advances in Neural Information Processing Systems, 27. https://papers.neurips.cc/paper_files/paper/2014/hash/b78666971ceae55a8e87efb7cbfd9ad4-Abstract.html
McInnes, L., Healy, J., Saul, N., & Großberger, L. (2018). UMAP: Uniform Manifold Approximation and Projection. Journal of Open Source Software, 3(29), 861. https://doi.org/10.21105/joss.00861
Mikolov, T., Sutskever, I., Chen, K., Corrado, G., & Dean, J. (2013). Distributed Representations of Words and Phrases and their Compositionality. Advances in Neural Information Processing Systems, 26. https://papers.neurips.cc/paper_files/paper/2013/hash/9aa42b31882ec039965f3c4923ce901b-Abstract.html
Press, O., & Wolf, L. (2017). Using the Output Embedding to Improve Language Models. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, 157–163. https://aclanthology.org/E17-2025/
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language Models Are Unsupervised Multitask Learners [Techreport]. OpenAI. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis With Latent Diffusion Models. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 10684–10695. https://openaccess.thecvf.com/content/CVPR2022/html/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.html
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning Representations by Back-Propagating Errors. Nature, 323(6088), 533–536. https://doi.org/10.1038/323533a0
Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1715–1725. https://doi.org/10.18653/v1/P16-1162
van den Oord, A., Vinyals, O., & Kavukcuoglu, K. (2017). Neural Discrete Representation Learning. Advances in Neural Information Processing Systems, 30. https://proceedings.neurips.cc/paper/2017/hash/7a98af17e63a0ac09ce2e96d03992fbc-Abstract.html
van der Maaten, L., & Hinton, G. (2008). Visualizing Data Using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605. https://www.jmlr.org/papers/v9/vandermaaten08a.html
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. https://papers.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html
Vig, J., Gehrmann, S., Belinkov, Y., Qian, S., Nevo, D., Singer, Y., & Shieber, S. (2020). Investigating Gender Bias in Language Models Using Causal Mediation Analysis. Advances in Neural Information Processing Systems, 33, 12388–12401. https://proceedings.neurips.cc/paper/2020/hash/92650b2e92217715fe312e6fa7b90d82-Abstract.html