上周有人发来两行字符串。
第一行是他准备发给同事的站点数据:
{"station":"乌镇","pm25":12}第二行是同一段数据换了身衣服:
eyJzdGF0aW9uIjoi5LmM6ZWHIiwicG0yNSI6MTJ9
他说,直接发明文,聊天软件有时会把花括号和引号吃掉,还会给看起来像链接的片段加预览;编码之后像块乱码,点开才还原。另一个文件他干脆加了密码。
然后他问了三件事:这样处理之后,数据还是“无损”的吗?如果是无损的,它和原文“等价”吗?以及——他停了一下——如果让模型去学 Base64 的潜空间,是不是等于给它加了一层模糊?
我让他把原文也贴出来。两行并排放在屏幕上,问题就清楚了:他其实把三件事混成了一件。
一、先把三个问题分开
信息量:原文里的东西,编码之后还在不在。
表征:同样这些东西,现在用什么符号、多长、怎么排。
可读性:人和模型要花多少力气才能从这串字符里把东西取出来。
信息论只回答第一个问题。第二个是编码设计的事,第三个是模型与工程的事。混在一起谈,就会得出“Base64 注入了信息”这种听起来合理、其实错位的结论。
后面几节按这个顺序来:先看信息量,再看表征,最后看模型。
二、信息量:熵量的不是你写了多少字
香农熵衡量一个随机变量平均需要多少比特才能确定下来:(Shannon, 1948)
一枚均匀硬币 比特。一枚两面都是正面的硬币 比特,尽管它也有“正”和“反”两个标签可用。信息量是概率分布的属性,不是字符串的属性。同一段内容,写成中文、写成 JSON、写成 Base64,符号数不同,熵却可以完全相同。
这一点先记住,后面所有结论都从这里长出来。
三、无损:能还原,为什么信息量不变
设 是一一对应的映射,。因为一一对应,,求和只是换了个下标:
换成他那两行字符串: 是 JSON, 是 Base64, 是编码, 是解码。,一个比特都没多,也一个比特都没少。
加密是同一个道理,只是多了一把钥匙。已知密文 和密钥 ,明文 被完全确定:
反过来,只看 不看 时,好的加密会让 ——这就是完美保密:密文不降低你对明文的不确定性。(Shannon, 1949) “无损”和“看不懂”可以同时成立,因为它们说的是两个不同的条件。
他接着追问:那不就是 加上密钥等于 吗?
这个加法看着自然,但把两样东西混成了一种。更准确的写法是联合分布:
其中 ,因为密钥和明文相互独立。(Cover & Thomas, 2006) 密钥不是附在数据后面的“额外信息”,而是解读这段表征所需的条件。它没有增加关于 的未知,反而把 锁得更死:一旦给出密钥, 的条件熵直接归零。
所以他的直觉有一半是对的: 确实“多带了东西”。多带的是解码条件,不是关于 的新知识。
四、那 40 个字符:Base64 换的是字母表
回到他的第二行。原文 30 个字节,编码后 40 个字符,正好 4/3。原因在 RFC 4648 里写得很直白:Base64 把 3 个字节(24 比特)切成 4 组 6 比特,每组映射到 64 个可打印字符之一。RFC 4648 §4
| 量 | 原始字节 | Base64 |
|---|---|---|
| 每符号承载 | 8 比特 | 6 比特 |
| 3 字节对应 | 3 个符号 = 24 比特 | 4 个符号 = 24 比特 |
| 他这段数据的长度 | 30 字节 | 40 字符(+33%) |
比特数守恒,存储变大,原因只是 ASCII 用 8 比特去装 6 比特的信息。多出来的 33% 是确定性的、可预测的:给定原文,编码结果唯一;给定编码,原文唯一。用熵写出来就是
RFC 4648 的安全考虑一节写得比很多科普都直接:base 编码“不向明文增加熵,只是增加了可用的明文长度,并给出一个带特征概率分布的密码分析线索”。RFC 4648 §12 换句话说,Base64 没有注入信息,它做的是换字母表,顺便引入可预测的冗余。这也解释了为什么它不能当加密用:它挡不住任何愿意多看一眼的人。
五、“等价”要分三层
他那句“无损但是不等价”,其实已经摸到了正确的位置,只差把层次说清楚。
| 层面 | 是否等价 | 在他这个例子里 |
|---|---|---|
| 信息量 | 等价 | 30 字节和 40 字符承载同样的 24 比特倍数,解码可完全还原 |
| 表征 | 不等价 | 符号集从 256 个字节值缩到 64 个字符,边界从 8 比特对齐变成 6 比特对齐,长度 ×4/3 |
| 使用成本 | 不等价 | 模型要多读 1/3 的字符,token 数、注意力预算、传输开销都变了 |
日常争论里说的“等价”,往往落在第二、三层,而信息论的结论在第一层。两边都没错,只是没在同一层说话。
这也回答了他真正关心的那个问题:模型还能不能读出“乌镇,PM2.5 是 12”。能,但要多花一些步骤。判断“能不能读懂”不是熵的问题,是模型能力和成本的问题。
六、“模糊的层”:模型那一半
现在可以谈他那句最有趣的猜测了:让模型去学 Base64 的潜空间,是不是等于加了一层模糊?
我的回答是:不算,至少模糊不是编码带来的。理由三条。
第一,映射是确定的。 每 4 个字符严格对应 3 个字节,规则全局一致,没有歧义,也没有概率分支。模型能学到的是一条句法解码路径,不是一个近似分布。
第二,模糊来自模型,不来自编码。 任何把高维输入压进固定维度表征的模型都是有损的,损失由任务目标和容量决定。Base64 只是换了一套输入分布,不改变这件事。
第三,真正变化的是“读法”。 字符边界和字节边界不再对齐,同一段字节被切在相邻字符之间,逐字节的重复模式被打散。对按 token 阅读的模型,这既拉长了序列,也改变了局部可预测性。
第三条可以检验。取一批随机字节串,分别以原始字节和 Base64 文本喂给模型,比较它还原字节级统计(字符频率、相邻字节转移)的能力。若模型真在潜空间里做了解码,Base64 一侧应当明显更好;若它只学到“Base64 看起来像随机串”,两侧都该接近随机基线。这是一个假设,不是已有定论,本页不声称任何模型具备这种能力。
七、顺手做的小实验:为什么它看起来更乱
他还有个疑问没说出来:既然信息没变,为什么 Base64 看起来更乱、连压缩软件都压不动?
我拿一段文本算了零阶经验熵(按符号频率估计):
| 表示 | 符号数 | 熵/符号 | 合计 |
|---|---|---|---|
| 原始字节 | 483 | 4.17 比特 | 约 2014 比特 |
| Base64 | 644 | 5.37 比特 | 约 3459 比特 |
Base64 一侧反而“更熵”。这不是信息变多了,而是零阶熵依赖符号边界:按 6 比特重新切分后,原本在字节层重复的模式被打散,符号分布被抹平,表面上看就更接近噪声。
作为对照,取 256 个字节值各出现 3 次的均匀样本:原始为 8.000 比特/字节,Base64 为 6.000 比特/字符,总量都是 6144 比特,完全守恒。
结论:不要用“看起来更乱”或“压不动”判断信息量。可逆性保证总量守恒,表面熵只是表征的副产品。复算脚本在 scripts/check_entropy_invariance.py。
八、回到那两行字符串
如果只能给他三句话,我会这样说:
- 你的数据没有丢东西。Base64 和加密都是可逆的,给定解码规则或密钥,原文可以完整取回。
- 你的数据换了表征。长度、符号集、边界对齐都变了,所以它和原文“信息量等价”,但“表征不等价”。
- 模型读它的难度变了,这不是“模糊层”,而是句法成本。规则越确定,模型越可能学会;但 Token 更长、局部统计被打散,实际表现要靠实验说话。
他听完说,那我把 Base64 当“轻量混淆”用,至少别人不会一眼看穿。我说可以,但别把它当安全措施——它连“多看一眼”都挡不住。关于这段站点数据本身的字段和口径,可以对照 OpenAQ 的聚合口径。
九、证据边界
- 熵不变性对离散变量是严格结论;连续变量要换成微分熵,且不再对任意可逆变换保持不变,本页不展开。
- 加密部分只讨论“给定密钥可完全恢复”这一层,不涉及语义安全、选择明文攻击等密码学定义。
- “模型是否学会 Base64 解码”是待检验的推测,本页给出的是实验思路,没有引用任何具体模型的内部探测结果。
- 经验熵数值来自本页自算的小样本,只用于说明符号边界的影响,不代表任何真实语料的熵。
- 开头的对话是这类提问的典型版本,不是逐字记录;示例数据为构造。