river bank 指河岸,bank loan 指银行贷款。假设分词器在两处都把 bank 切成一个单元,并给它同一个编号。模型可以为这两处查到同一个起始向量;若能访问短语两侧,就可以分别结合 river 和 loan 计算新的向量。顺着这两段短语,可以分清分词器选出什么单元、嵌入层给单元什么数值,以及上下文在哪一步进入计算。
给单元编号
分词(tokenization)把一个输入变成模型能处理的单元序列;每个单元叫一个 token。在常见的文本系统里,分词器还会把每个 token 换成词表里的编号。假设词表只有 river、bank、loan 三项,编号依次为 0、1、2,那么两段短语在这个教学例子中分别是 [0, 1] 和 [1, 2]。这里暂不处理空格、标点和特殊 token;真实分词器是否把两处 bank 编成同一编号,要看它怎样编码词边界。
编号序列已经是一种符号表示。它记录了选中了哪些单元和这些单元的顺序。编号的数值大小只用于索引词表:把 bank 改编成 2,再把词表和嵌入表同步调整,对应词条和查出的向量都可以保持原样。讨论模型某一层的表示时,通常关注的是它实际接收或输出的向量;这时要说清楚指的是词表编号、查表结果,还是网络某层算出的向量。
用编号选一行
设输入嵌入表 有 行,每行对应词表中的一个 token;每行有 个数,是该 token 的起始坐标。这里 、,给表填一组教学用的数:
| token | 编号 | 输入嵌入 |
|---|---|---|
river | 0 | |
bank | 1 | |
loan | 2 |
查到编号 1,就返回第二行 。同一步也能写成矩阵乘法:用一个只有第 2 个位置为 1 的行向量,也叫独热(one-hot)向量,把第二行挑出来。
实现时可以直接按编号取行,不必构造长度为 的独热向量。两段短语各有两个位置,所以查表后都得到形状为 的向量序列;第一维数位置,第二维数每个位置的坐标。浮点向量给后续网络提供了可参与加权、投影等运算的输入。这里发生的是给 token 分配坐标;要判断是否压缩了原始数据,还得比较实际编码、存储精度和能否还原,不能只比较向量与独热编码的维数。
一行坐标怎样学会变化
以下一个 token 预测为例。模型先用当前的表查出向量,再据此预测下一个 token。训练用损失衡量预测与目标的差距,优化器根据损失对参数的梯度决定怎样更新。假设某次从输入查表路径回传到 bank 行的梯度为 。用学习率 做一步最简单的梯度下降,bank 行从 变成 。下一次用同一编号查表,就会取到改过的坐标。梯度在此例中是教学设定;真正的梯度取决于样本、模型和训练目标。
若同一个编号在一个训练批次里出现多次,这些位置的梯度会在同一行汇合。只看输入查表路径,未被查到的行不从这条路径收到梯度。有些语言模型还用同一张表给输出词表打分,称为权重绑定(weight tying);这时一行还会收到来自输出路径的梯度,即使对应 token 未出现在输入中。(Press & Wolf, 2017)
训练的目标是减小损失,词表中哪些向量靠近取决于任务、模型及选用的距离。用余弦相似度是在比较方向,用欧氏距离还会受到向量长度影响。若实际要拿这些向量找近义词,应在近义词任务上检验排序;预测损失下降并不能单独证明某张表适合做语义检索。SGNS 的词向量笔记给出了一个训练信号明确的例子,能看见模型究竟在提高哪些词对的分数。
查表存坐标,网络为本次输入算坐标
冻结刚才的表,再查两段短语,仍然会得到同一个 bank 行。若接着用双向 Transformer,bank 位置可以从左右两侧汇集信息:在 river bank 里可以利用左侧的 river,在 bank loan 里可以利用右侧的 loan。例如 BERT 把 token、位置和句段嵌入加在一起作为输入,然后逐层计算;表中的同一行保持共享,两个 bank 位置的隐藏向量却可以不同。究竟能否区分词义,由学到的权重与相应测试决定。(Devlin et al., 2019)
对只读当前位置及左侧的自回归模型,要在 bank 位置比较语境,可以用 by the river bank 和 approved by the bank。在 bank loan 里,bank 位置计算时看不到后面的 loan;要使用这条线索,就看已经读到 loan 的位置。注意力允许访问哪些位置,决定了哪些线索能够参与本次计算。(Devlin et al., 2019)
「嵌入」有时也指整个句子经过编码后得到的向量。要辨认文章说的是哪一个,可以问它能否只凭一个词表编号直接取得:输入嵌入表的行可以,考虑上下文的 token 或句子向量需要运行编码器。
谁决定单元的边界,谁决定单元的值?
很多系统都把某种输入单元称为 token。比较它们时,先看单元放在哪里,再看每个位置得到的是连续向量还是离散编号。
| 做法 | 单元怎样确定 | 送给后续模型的表示 |
|---|---|---|
| 文本 BPE(字节对编码) | 用语料统计相邻符号对,逐轮合并最常见的符号对,保留合并顺序;训练后按这套顺序处理新文本 | 词表编号序列,可再查输入嵌入表 |
| 原始 ViT 的固定图块 | 用预设的网格切块,所有图块用同一个可训练投影 | 每块一个连续向量 |
| VQ-VAE 的图像码 | 编码器按架构产生一张特征网格,每个位置用最近的码本向量分配编号 | 每个网格位置一个离散编号,可转回相应的码本向量 |
BPE 用计数与逐轮合并来拟合规则。在机器翻译论文的那种实现中,新文本先切成字符,再按学到的顺序合并。词表中可以有反复出现的字串;合并依据是语料中的频次,切分边界未必和构词单位吻合。语言模型训练时,已选定的 BPE 规则通常保持固定,反向传播更新的是模型参数。(Sennrich et al., 2016)
对 ViT,取一张 的 RGB 教学图,按 切成四块。每块展平为 个数。若选 64 维作为模型宽度,四块共用一张 的投影矩阵,得到 的内容向量序列。这里先只数图块,不计额外的分类 token 和位置表示。文本查表用编号选择已有的行;ViT 的投影则用每块的全部像素数值计算新向量。原始 ViT 的网格边界保持规则,投影矩阵由训练得到。(Dosovitskiy et al., 2021)
VQ-VAE 把「每个位置分配哪一个编号」也纳入学习。它先学编码器、码本和重建图像的解码器。以原论文的 ImageNet 示例为例, 的 RGB 图像对应一张 的离散网格,每个位置从 512 个码本项中选一个。编码器和码本学到的内容会改变编号分配;空间网格的位置和数量由架构确定。原论文随后再单独训练一个模型来生成这张编号网格,由解码器把它变回图像。这里学到的是编码和分配规律,另一种设计才会让模型根据内容决定块的边界。(van den Oord et al., 2017)
哪一步最值得改,取决于正在解决的问题。文本切得太碎时,可以先比较相同输入产生的 token 数;同一个 token 需要区分几种词义时,应检查有上下文的位置表示;图像需要恢复细节时,可以比较不同分块或码本设置下的重建结果。每种检查都对应一项可观察的需求,单看嵌入维度无法替代它们。
接着读查表之后,隐藏状态怎样形成。如果同一张表也给输出词表打分,可进一步算一遍权重绑定的两路梯度。