潜空间没有统一尺寸,也不是无限精度的小数空间。 对生成模型来说,「多少维」问的是潜变量有几个数;「每个维度多长」问的是这些数落在什么范围;「精度多少」问的是每个数用多少位浮点数存储。三件事分别由模型结构、训练分布和数值格式决定。
模型通常先用编码器把数据压成潜变量,再在潜空间里做生成或预测,最后由解码器还原。可以把它想成模型内部的压缩表示:保留对任务有用的结构,丢掉像素级细节。
以 512×512 的彩色图像为例。像素空间有 个数。Stable Diffusion 一类潜空间扩散模型先把它压缩成 个数:空间边长缩到 ,通道数从 3 变成 4,总数约为原来的 。生成过程主要在这个较小的张量上进行。(Rombach et al., 2022)
一、维度:先确认你在数什么
「潜空间有多少维」在向量模型里有明确答案,在张量模型里却有歧义。
| 模型类型 | 潜变量形状 | 「维度」通常指 | 总数值个数 |
|---|---|---|---|
| VAE | 维向量 | ||
| GAN | 维向量 | ||
| 潜空间扩散 | 张量 | 通道数 ,或总元素数 |
VAE 把输入映射成一个均值向量和一个方差向量,每个向量有 个数。 常取几十到几百;低分辨率教学数据可以更小,较复杂的图像模型可以更大。这个数字是超参数,不是数据本身的固有维度。(Kingma & Welling, 2014)
GAN 的潜向量也是预设的。生成器把 映射成样本,判别器负责区分真伪。(Goodfellow et al., 2014) DCGAN 用 100 维均匀噪声,BigGAN 用 128 维,StyleGAN 用 512 维;这些数字来自模型设计,不是训练后自动「长出来」的。(Brock et al., 2019; Karras et al., 2019; Radford et al., 2016)
潜空间扩散模型则是一个三维张量。以经典配置为例,512×512 图像被压到 64×64×4:「4」是通道数,「64×64」是空间网格,「16,384」才是总数值个数。后续模型会改变通道数或下采样倍率。SDXL 在 1024×1024 输入上使用 4 通道、8 倍下采样的 VAE,得到 128×128×4;SD3 则使用 16 通道、8 倍下采样的 VAE。(Esser et al., 2024; Podell et al., 2024)
所以,听到「这个潜空间是 4 维」时,先问一句:你说的是 4 个通道,还是 4 个数?在扩散模型里,这两句话不是一回事。
二、范围:不是「长度」,是分布
潜空间的每个坐标没有一把固定的尺子。它有一个由先验、编码器和缩放共同决定的数值分布。
VAE 的训练目标包含一项 KL 正则:让每个样本的后验 靠近标准正态先验 。如果某个坐标真的服从标准正态,约 99.7% 的值会落在 内。但「靠近」不等于「每个维度在全体数据上都严格服从 」:不同维度可以有不同均值、方差和异常值,训练后的实际范围也可能偏离。潜空间扩散模型还会在编码后乘一个缩放系数,经典 Stable Diffusion 配置使用 0.18215,让潜变量的尺度更适合扩散过程。官方配置 因此你看到的数值范围,和 VAE 原始输出也不是同一个尺度。(Kingma & Welling, 2014; Rombach et al., 2022)
GAN 的 更直接:它从设计者选定的分布里采样。DCGAN 用 100 维均匀分布,BigGAN 和 StyleGAN 用标准正态。这里的「范围」首先是采样范围,不是模型学到的语义区间。生成器会把 映射到图像,映射过程可以拉伸、折叠,甚至让某些方向几乎无效; 的坐标范围本身不保证每个方向都对应一个可解释因素。(Karras et al., 2019; Radford et al., 2016)
扩散模型的潜变量还会随时间步变化。加噪到较高时间步时,它接近标准正态;回到较低时间步时,它才接近编码后的图像。用一个固定的「±3」描述整个去噪过程,会忽略不同噪声水平下的分布差异。(Ho et al., 2020)
一句话:范围是统计描述,不是物理长度;它依赖先验、编码器和缩放,不能只看维度数字。
三、精度:有限位浮点,不是无限小数
这是最容易误解的部分。潜空间里的数确实是浮点数,但每个数的精度由存储格式决定。
| 格式 | 符号位 / 指数位 / 尾数位 | 有效二进制位 | 约十进制有效位 | 每个数占 |
|---|---|---|---|---|
| float32 | 1 / 8 / 23 | 24 | 约 7.2 位 | 4 字节 |
| float16 | 1 / 5 / 10 | 11 | 约 3.3 位 | 2 字节 |
| bfloat16 | 1 / 8 / 7 | 8 | 约 2.4 位 | 2 字节 |
「有效二进制位」把规格化数的隐含前导 1 算进去;十进制位数按 估算,是量级而不是保证。(Kalamkar et al., 2019)
float32 打印出来可能像 0.1234567,看起来有 7 位;但那是显示结果,不是「存了无限长的小数」。许多十进制小数在二进制里本身就是无限循环,例如 0.1 无法用有限位二进制精确表示。格式一换,能保留的有效位就变少。
还要区分两个「精度」:
- 数值精度:每个数用多少位浮点存储,决定舍入误差。
- 模型精度:生成结果有多接近目标,受训练数据、模型容量和采样过程影响。
低精度不一定让图「看起来更差」,但可能改变数值结果,甚至触发溢出。SDXL 的原始 VAE 在 float16 下会产生 NaN,因为内部激活值过大;社区常用的 sdxl-vae-fp16-fix 通过缩小网络内部的权重和偏置,让解码器能在 float16 下工作。bfloat16 的指数范围与 float32 相同,但尾数更短;它不容易溢出,不代表精度更高。(Kalamkar et al., 2019; madebyollin, n.d.)
实际模型常采用混合精度:大部分矩阵运算用 float16 或 bfloat16 提速、省显存,对数值敏感的归约、归一化和 VAE 解码等部分保留 float32。(Micikevicius et al., 2018)
算一笔账:一个 64×64×4 的潜张量有 16,384 个数。float32 占 64 KiB,float16 或 bfloat16 占 32 KiB;batch 为 8 时分别是 512 KiB 和 256 KiB。这只是潜张量本身,模型权重、激活和中间结果通常更大。精度选择因而不是「越高越好」,而是显存、带宽、速度和数值稳定性之间的工程取舍。
四、把三个问题放在一起
| 问题 | 问的是什么 | 典型回答 | 常见误解 |
|---|---|---|---|
| 潜空间多少维? | 有几个数 | VAE 常见几十到几百维;GAN 常见 100–512 维;扩散模型是 张量 | 把 4 个通道说成「4 维」 |
| 每个维度多长? | 数值范围与分布 | VAE 靠近 ,多数值约在 ;GAN 由采样分布决定;扩散模型随噪声水平变化 | 以为每个维度有固定物理长度 |
| 精度多少? | 每个数怎么存 | float32 约 7 位、float16 约 3 位、bfloat16 约 2 位十进制有效数字 | 以为浮点数是无限长的小数 |
五、三个常见误解
「StyleGAN 是 512 维,所以图像有 512 个独立语义方向。」 不一定。潜空间的坐标可以高度相关,单个方向也可能混合多个因素。数据集的内在维度估计可以帮助理解「数据本身有多少自由度」:Pope 等人在 ImageNet 上估计出 26–43 的内在维度,远低于像素数;但这是数据集层面的估计,不是某个生成器潜空间的有效维度,也不能直接换算成「可控语义方向」的数量。(Pope et al., 2021)
「维度越高,表达能力越强。」 维度提高会增加容量,也增加冗余、计算量和过拟合风险。VAE 训练中还可能出现后验坍塌:部分维度不再携带有效信息。(Lucas et al., 2019) 真正重要的是模型在目标任务上的有效表示,而不是模型卡上的维度数字。
「潜空间是连续的,所以任意两点之间都能平滑插值。」 连续只是说坐标可以取实数,不保证两个编码之间的直线都落在数据流形上。插值路径可能穿过低密度区域,解码出不合理的结果。判断插值是否可用,要看具体模型和样本,不能从「连续」直接推出「处处有意义」。
最后记住三句话
- 维度:潜空间里「有几个数」;张量模型要区分通道数和总元素数。
- 范围:这些数「落在什么分布里」,由先验、编码器和缩放共同决定。
- 精度:每个数「用多少位浮点存储」,有限、可换,也可以用混合精度。
潜空间不是神秘的无损高维空间,而是一个经过压缩、正则化和有限精度存储的数值表征空间。它的尺寸、范围和精度,都是模型设计中的工程权衡。
把潜空间放回生成模型的全景,可继续读生成式 AI 概览。