同样是 was,放在 The river bank was 末尾,后面可以接 muddy;放在 The bank loan was 末尾,后面可以接 approved。语言模型要先把前文变成可计算的状态,才能给这些续写分配概率。输入「黄昏时,河岸边有一座窄桥」,潜扩散模型则会在一张缩小的数值网格上逐步去噪,最后把网格解码成图像。这两种数值形式都是表征。语言模型用隐藏状态来续写文本,潜扩散模型在网格上生成整张图像。
语言模型读到哪里,就从哪里续写
把 The river bank was 交给一个从左到右读文本的语言模型。分词器先把输入变成 token 序列。经过多层计算,最后一个位置的状态已经能利用读到的内容。换成 The bank loan was,即使末尾仍是同一个 token,它的最终状态以及由此得到的续写概率也可能不同。原始 Transformer 在翻译时采用了这种解码方式;GPT-2 用这样的预测来学习文本本身的分布。(Radford et al., 2019; Vaswani et al., 2017)
已读的 t 个 token → 初始向量序列(t × d)→ 最后一层状态序列(t × d)
→ ★ 取最后一个位置的状态(d 个数)
→ 输出头给词表中的每个 token 打分(V 个分数)
→ softmax 转成下一 token 的概率(V 项,加起来为 1)
→ 选一个 token 接到序列末尾,再预测下一项这里 是隐藏向量的宽度, 是词表大小。输出头把一个 维的上下文状态变成 个分数,也叫 logits;softmax 把分数归一化为一个分布。若需要某个候选的概率,读出对应的那一项即可。模型生成的是一个个 token,示例中的 muddy 和 approved 只用来展示可能的续写,实际由几个 token 拼成取决于分词器。从各层状态到输出头进一步区分了隐藏状态、分数和概率。
预训练时,文本已经给出了每个位置真正接下去的 token。模型用真实前文预测它,并在它的预测概率偏小时受到更大的训练惩罚。生成时没有真实后文,系统可以从概率分布里抽取一个 token,也可以取概率最高的那项;选出的内容成为下一轮的前文。自回归指的就是这种用前面已有的输出继续生成后面的过程。(Radford et al., 2019)
潜扩散先学会压缩,再学会从噪声生成
现在换成河岸照片。举个教学例子,编码器把一张 的 RGB(红、绿、蓝三通道)图片变为 的网格。原图有 49,152 个数,潜网格有 1,024 个数,元素数量是原来的 。网格保留了高、宽两个空间轴。每格四个通道的数值来自编码器的计算,解码器利用它们重建原图的颜色和纹理。这个比值只衡量元素数量;位数、取值范围和能够恢复的细节需要分别判断。潜空间的维度、范围和精度进一步区分了元素数量、位数与取值范围。
Rombach 等人的潜扩散模型(Latent Diffusion Model,LDM)分两步训练。第一步先训练自编码器:编码器把原图 压成潜网格 ,解码器从 尽量重建这张图。原论文的第一阶段结合衡量视觉差异的感知损失和鼓励局部纹理自然的对抗训练目标。第二步使用已训好的自编码器得到 ,再随机加噪。去噪网络接收带噪网格和噪声等级,以刚才加进去的噪声为预测目标。做文本条件生成时,模型还会把提示词编码成一串向量。去噪网络通过交叉注意力读取这串向量,影响每次对图像网格的更新。图像网格承载要生成的内容,文本向量负责提供条件。(Rombach et al., 2022)
第一阶段训练:原图 x → 编码为潜网格 z → 解码成重建图,与原图比较
第二阶段训练:真实图像的 z → 加入噪声 → 预测加入的噪声,与已知噪声比较
纯文本生图:提示词 → 文本条件向量 ─→ 每次去噪都能读取条件
随机噪声网格 → 多步反向更新 → ★ 生成的潜网格 → 解码成新图纯文本生图从随机噪声出发,无需给定要重建的原图。采样过程反复用去噪网络的预测来更新整个网格,解码器最后把生成的潜网格转成像素。由此可区分两种看起来相似的图片输出:重建从某张照片的编码出发,尽量还原同一张图;生成从噪声出发,得到一张新图。原论文的 §3 与图 3 给出了这两个阶段以及文本条件进入去噪网络的位置。(Rombach et al., 2022)
这里的潜空间指模型内部处理潜变量的空间。在连续版本中,潜网格每格可以取连续值。采用离散码的系统则先学一张码本,再给每个位置分配距离最近的码本项。码本项的编号可以当作图像 token,相应的向量仍可用于连续计算。原 LDM 论文也试验了向量量化正则,其量化步骤归入解码器,扩散仍在量化前的潜表示上运作。可对照从分词到嵌入,区分离散编号、码本向量和模型计算出的状态。(Rombach et al., 2022)
生成得像,与能否迁移到别的任务,是两次检验
如果想知道潜网格把原图保留得怎样,可以把留出的河岸照片逐张编码再解码,查看原图可见的桥栏杆在重建图里还能否分辨。若问题变成「给定描述,能不能生成像照片的河岸与窄桥」,就用一组固定提示词和采样设置,分别评估画面的真实性与对描述的符合程度。两项评估的输入和比较对象都不同。原 LDM 论文提供了一个实际对照:在其 ImageNet 实验中,长宽各缩到原来的 时,生成样本质量较早停滞;论文将其归因于第一阶段压缩过强,丢失的细节限制了第二阶段能生成的内容。(Rombach et al., 2022)
再换一个用法:希望给已有照片自动标出「桥上有无护栏」。先冻结编码器,把统一尺寸的真实照片转成潜网格,再用训练集的标签拟合一个线性分类器。对照组也用同样的分类器,但网格由同架构、随机初始化且冻结的编码器产生。两者用同一份训练、验证和测试划分,来自同一座桥的照片须划入同一个子集;再比较测试集上的 F1(综合精确率和召回率)。这样测的是在这个读出方式和数据条件下,护栏信息有多容易被读出。一张生成图片有逼真的护栏,与一个分类器能辨认真实照片里的护栏,各有自己的证据。冻结表征、探测与微调说明了如何选读出器和对照。
回到开头,两种生成方式的区别落在「下一步要做什么」。语言模型把隐藏状态读成对下一个 token 的判断,选中的 token 再进入下一轮;潜扩散模型在同一张数值网格上逐步改变所有位置,最后一次解码得到图像。要判断一个中间表示是否有用,先说清谁在读取它、要完成什么任务,以及用什么结果来验证。