river bank 指河岸,bank loan 指银行贷款。假设分词器在两处都把 bank 切成一个单元,并给它同一个编号。模型可以为这两处查到同一个起始向量;若能访问短语两侧,就可以分别结合 river 和 loan 计算新的向量。顺着这两段短语,可以分清分词器选出什么单元、嵌入层给单元什么数值,以及上下文在哪一步进入计算。

给单元编号

分词(tokenization)把一个输入变成模型能处理的单元序列;每个单元叫一个 token。在常见的文本系统里,分词器还会把每个 token 换成词表里的编号。假设词表只有 river、bank、loan 三项,编号依次为 0、1、2,那么两段短语在这个教学例子中分别是 [0, 1] 和 [1, 2]。这里暂不处理空格、标点和特殊 token;真实分词器是否把两处 bank 编成同一编号,要看它怎样编码词边界。

编号序列已经是一种符号表示。它记录了选中了哪些单元和这些单元的顺序。编号的数值大小只用于索引词表:把 bank 改编成 2,再把词表和嵌入表同步调整,对应词条和查出的向量都可以保持原样。讨论模型某一层的表示时,通常关注的是它实际接收或输出的向量;这时要说清楚指的是词表编号、查表结果,还是网络某层算出的向量。

用编号选一行

设输入嵌入表 有 行,每行对应词表中的一个 token;每行有 个数,是该 token 的起始坐标。这里 、,给表填一组教学用的数:

token编号输入嵌入
river0
bank1
loan2

查到编号 1,就返回第二行 。同一步也能写成矩阵乘法:用一个只有第 2 个位置为 1 的行向量,也叫独热(one-hot)向量,把第二行挑出来。

实现时可以直接按编号取行,不必构造长度为 的独热向量。两段短语各有两个位置,所以查表后都得到形状为 的向量序列;第一维数位置,第二维数每个位置的坐标。浮点向量给后续网络提供了可参与加权、投影等运算的输入。这里发生的是给 token 分配坐标;要判断是否压缩了原始数据,还得比较实际编码、存储精度和能否还原,不能只比较向量与独热编码的维数。

一行坐标怎样学会变化

以下一个 token 预测为例。模型先用当前的表查出向量,再据此预测下一个 token。训练用损失衡量预测与目标的差距,优化器根据损失对参数的梯度决定怎样更新。假设某次从输入查表路径回传到 bank 行的梯度为 。用学习率 做一步最简单的梯度下降,bank 行从 变成 。下一次用同一编号查表,就会取到改过的坐标。梯度在此例中是教学设定;真正的梯度取决于样本、模型和训练目标。

若同一个编号在一个训练批次里出现多次,这些位置的梯度会在同一行汇合。只看输入查表路径,未被查到的行不从这条路径收到梯度。有些语言模型还用同一张表给输出词表打分,称为权重绑定(weight tying);这时一行还会收到来自输出路径的梯度,即使对应 token 未出现在输入中。(Press & Wolf, 2017)

训练的目标是减小损失,词表中哪些向量靠近取决于任务、模型及选用的距离。用余弦相似度是在比较方向,用欧氏距离还会受到向量长度影响。若实际要拿这些向量找近义词,应在近义词任务上检验排序;预测损失下降并不能单独证明某张表适合做语义检索。SGNS 的词向量笔记给出了一个训练信号明确的例子,能看见模型究竟在提高哪些词对的分数。

查表存坐标,网络为本次输入算坐标

冻结刚才的表,再查两段短语,仍然会得到同一个 bank 行。若接着用双向 Transformer,bank 位置可以从左右两侧汇集信息:在 river bank 里可以利用左侧的 river,在 bank loan 里可以利用右侧的 loan。例如 BERT 把 token、位置和句段嵌入加在一起作为输入,然后逐层计算;表中的同一行保持共享,两个 bank 位置的隐藏向量却可以不同。究竟能否区分词义,由学到的权重与相应测试决定。(Devlin et al., 2019)

对只读当前位置及左侧的自回归模型,要在 bank 位置比较语境,可以用 by the river bank 和 approved by the bank。在 bank loan 里,bank 位置计算时看不到后面的 loan;要使用这条线索,就看已经读到 loan 的位置。注意力允许访问哪些位置,决定了哪些线索能够参与本次计算。(Devlin et al., 2019)

「嵌入」有时也指整个句子经过编码后得到的向量。要辨认文章说的是哪一个,可以问它能否只凭一个词表编号直接取得:输入嵌入表的行可以,考虑上下文的 token 或句子向量需要运行编码器。

谁决定单元的边界,谁决定单元的值?

很多系统都把某种输入单元称为 token。比较它们时,先看单元放在哪里,再看每个位置得到的是连续向量还是离散编号。

做法单元怎样确定送给后续模型的表示
文本 BPE(字节对编码)用语料统计相邻符号对,逐轮合并最常见的符号对,保留合并顺序;训练后按这套顺序处理新文本词表编号序列,可再查输入嵌入表
原始 ViT 的固定图块用预设的网格切块,所有图块用同一个可训练投影每块一个连续向量
VQ-VAE 的图像码编码器按架构产生一张特征网格,每个位置用最近的码本向量分配编号每个网格位置一个离散编号,可转回相应的码本向量

BPE 用计数与逐轮合并来拟合规则。在机器翻译论文的那种实现中,新文本先切成字符,再按学到的顺序合并。词表中可以有反复出现的字串;合并依据是语料中的频次,切分边界未必和构词单位吻合。语言模型训练时,已选定的 BPE 规则通常保持固定,反向传播更新的是模型参数。(Sennrich et al., 2016)

对 ViT,取一张 的 RGB 教学图,按 切成四块。每块展平为 个数。若选 64 维作为模型宽度,四块共用一张 的投影矩阵,得到 的内容向量序列。这里先只数图块,不计额外的分类 token 和位置表示。文本查表用编号选择已有的行;ViT 的投影则用每块的全部像素数值计算新向量。原始 ViT 的网格边界保持规则,投影矩阵由训练得到。(Dosovitskiy et al., 2021)

VQ-VAE 把「每个位置分配哪一个编号」也纳入学习。它先学编码器、码本和重建图像的解码器。以原论文的 ImageNet 示例为例, 的 RGB 图像对应一张 的离散网格,每个位置从 512 个码本项中选一个。编码器和码本学到的内容会改变编号分配;空间网格的位置和数量由架构确定。原论文随后再单独训练一个模型来生成这张编号网格,由解码器把它变回图像。这里学到的是编码和分配规律,另一种设计才会让模型根据内容决定块的边界。(van den Oord et al., 2017)

哪一步最值得改,取决于正在解决的问题。文本切得太碎时,可以先比较相同输入产生的 token 数;同一个 token 需要区分几种词义时,应检查有上下文的位置表示;图像需要恢复细节时,可以比较不同分块或码本设置下的重建结果。每种检查都对应一项可观察的需求,单看嵌入维度无法替代它们。

接着读查表之后,隐藏状态怎样形成。如果同一张表也给输出词表打分,可进一步算一遍权重绑定的两路梯度。

参考文献

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 4171–4186. https://doi.org/10.18653/v1/N19-1423
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. International Conference on Learning Representations. https://openreview.net/forum?id=YicbFdNTTy
Press, O., & Wolf, L. (2017). Using the Output Embedding to Improve Language Models. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, 157–163. https://aclanthology.org/E17-2025/
Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 1715–1725. https://doi.org/10.18653/v1/P16-1162
van den Oord, A., Vinyals, O., & Kavukcuoglu, K. (2017). Neural Discrete Representation Learning. Advances in Neural Information Processing Systems, 30. https://proceedings.neurips.cc/paper/2017/hash/7a98af17e63a0ac09ce2e96d03992fbc-Abstract.html