上周有人发来两行字符串。

第一行是他准备发给同事的站点数据:

{"station":"乌镇","pm25":12}

第二行是同一段数据换了身衣服:

eyJzdGF0aW9uIjoi5LmM6ZWHIiwicG0yNSI6MTJ9

他说,直接发明文,聊天软件有时会把花括号和引号吃掉,还会给看起来像链接的片段加预览;编码之后像块乱码,点开才还原。另一个文件他干脆加了密码。

然后他问了三件事:这样处理之后,数据还是“无损”的吗?如果是无损的,它和原文“等价”吗?以及——他停了一下——如果让模型去学 Base64 的潜空间,是不是等于给它加了一层模糊?

我让他把原文也贴出来。两行并排放在屏幕上,问题就清楚了:他其实把三件事混成了一件。

一、先把三个问题分开

信息量:原文里的东西,编码之后还在不在。

表征:同样这些东西,现在用什么符号、多长、怎么排。

可读性:人和模型要花多少力气才能从这串字符里把东西取出来。

信息论只回答第一个问题。第二个是编码设计的事,第三个是模型与工程的事。混在一起谈,就会得出“Base64 注入了信息”这种听起来合理、其实错位的结论。

后面几节按这个顺序来:先看信息量,再看表征,最后看模型。

二、信息量:熵量的不是你写了多少字

香农熵衡量一个随机变量平均需要多少比特才能确定下来:(Shannon, 1948)

一枚均匀硬币 比特。一枚两面都是正面的硬币 比特,尽管它也有“正”和“反”两个标签可用。信息量是概率分布的属性,不是字符串的属性。同一段内容,写成中文、写成 JSON、写成 Base64,符号数不同,熵却可以完全相同。

这一点先记住,后面所有结论都从这里长出来。

三、无损:能还原,为什么信息量不变

设 是一一对应的映射,。因为一一对应,,求和只是换了个下标:

换成他那两行字符串: 是 JSON, 是 Base64, 是编码, 是解码。,一个比特都没多,也一个比特都没少。

加密是同一个道理,只是多了一把钥匙。已知密文 和密钥 ,明文 被完全确定:

反过来,只看 不看 时,好的加密会让 ——这就是完美保密:密文不降低你对明文的不确定性。(Shannon, 1949) “无损”和“看不懂”可以同时成立,因为它们说的是两个不同的条件。

他接着追问:那不就是 加上密钥等于 吗?

这个加法看着自然,但把两样东西混成了一种。更准确的写法是联合分布:

其中 ,因为密钥和明文相互独立。(Cover & Thomas, 2006) 密钥不是附在数据后面的“额外信息”,而是解读这段表征所需的条件。它没有增加关于 的未知,反而把 锁得更死:一旦给出密钥, 的条件熵直接归零。

所以他的直觉有一半是对的: 确实“多带了东西”。多带的是解码条件,不是关于 的新知识。

四、那 40 个字符:Base64 换的是字母表

回到他的第二行。原文 30 个字节,编码后 40 个字符,正好 4/3。原因在 RFC 4648 里写得很直白:Base64 把 3 个字节(24 比特)切成 4 组 6 比特,每组映射到 64 个可打印字符之一。RFC 4648 §4

量原始字节Base64
每符号承载8 比特6 比特
3 字节对应3 个符号 = 24 比特4 个符号 = 24 比特
他这段数据的长度30 字节40 字符(+33%)

比特数守恒,存储变大,原因只是 ASCII 用 8 比特去装 6 比特的信息。多出来的 33% 是确定性的、可预测的:给定原文,编码结果唯一;给定编码,原文唯一。用熵写出来就是

RFC 4648 的安全考虑一节写得比很多科普都直接:base 编码“不向明文增加熵,只是增加了可用的明文长度,并给出一个带特征概率分布的密码分析线索”。RFC 4648 §12 换句话说,Base64 没有注入信息,它做的是换字母表,顺便引入可预测的冗余。这也解释了为什么它不能当加密用:它挡不住任何愿意多看一眼的人。

五、“等价”要分三层

他那句“无损但是不等价”,其实已经摸到了正确的位置,只差把层次说清楚。

层面是否等价在他这个例子里
信息量等价30 字节和 40 字符承载同样的 24 比特倍数,解码可完全还原
表征不等价符号集从 256 个字节值缩到 64 个字符,边界从 8 比特对齐变成 6 比特对齐,长度 ×4/3
使用成本不等价模型要多读 1/3 的字符,token 数、注意力预算、传输开销都变了

日常争论里说的“等价”,往往落在第二、三层,而信息论的结论在第一层。两边都没错,只是没在同一层说话。

这也回答了他真正关心的那个问题:模型还能不能读出“乌镇,PM2.5 是 12”。能,但要多花一些步骤。判断“能不能读懂”不是熵的问题,是模型能力和成本的问题。

六、“模糊的层”:模型那一半

现在可以谈他那句最有趣的猜测了:让模型去学 Base64 的潜空间,是不是等于加了一层模糊?

我的回答是:不算,至少模糊不是编码带来的。理由三条。

第一,映射是确定的。 每 4 个字符严格对应 3 个字节,规则全局一致,没有歧义,也没有概率分支。模型能学到的是一条句法解码路径,不是一个近似分布。

第二,模糊来自模型,不来自编码。 任何把高维输入压进固定维度表征的模型都是有损的,损失由任务目标和容量决定。Base64 只是换了一套输入分布,不改变这件事。

第三,真正变化的是“读法”。 字符边界和字节边界不再对齐,同一段字节被切在相邻字符之间,逐字节的重复模式被打散。对按 token 阅读的模型,这既拉长了序列,也改变了局部可预测性。

第三条可以检验。取一批随机字节串,分别以原始字节和 Base64 文本喂给模型,比较它还原字节级统计(字符频率、相邻字节转移)的能力。若模型真在潜空间里做了解码,Base64 一侧应当明显更好;若它只学到“Base64 看起来像随机串”,两侧都该接近随机基线。这是一个假设,不是已有定论,本页不声称任何模型具备这种能力。

七、顺手做的小实验:为什么它看起来更乱

他还有个疑问没说出来:既然信息没变,为什么 Base64 看起来更乱、连压缩软件都压不动?

我拿一段文本算了零阶经验熵(按符号频率估计):

表示符号数熵/符号合计
原始字节4834.17 比特约 2014 比特
Base646445.37 比特约 3459 比特

Base64 一侧反而“更熵”。这不是信息变多了,而是零阶熵依赖符号边界:按 6 比特重新切分后,原本在字节层重复的模式被打散,符号分布被抹平,表面上看就更接近噪声。

作为对照,取 256 个字节值各出现 3 次的均匀样本:原始为 8.000 比特/字节,Base64 为 6.000 比特/字符,总量都是 6144 比特,完全守恒。

结论:不要用“看起来更乱”或“压不动”判断信息量。可逆性保证总量守恒,表面熵只是表征的副产品。复算脚本在 scripts/check_entropy_invariance.py。

八、回到那两行字符串

如果只能给他三句话,我会这样说:

  1. 你的数据没有丢东西。Base64 和加密都是可逆的,给定解码规则或密钥,原文可以完整取回。
  2. 你的数据换了表征。长度、符号集、边界对齐都变了,所以它和原文“信息量等价”,但“表征不等价”。
  3. 模型读它的难度变了,这不是“模糊层”,而是句法成本。规则越确定,模型越可能学会;但 Token 更长、局部统计被打散,实际表现要靠实验说话。

他听完说,那我把 Base64 当“轻量混淆”用,至少别人不会一眼看穿。我说可以,但别把它当安全措施——它连“多看一眼”都挡不住。关于这段站点数据本身的字段和口径,可以对照 OpenAQ 的聚合口径。

九、证据边界

  • 熵不变性对离散变量是严格结论;连续变量要换成微分熵,且不再对任意可逆变换保持不变,本页不展开。
  • 加密部分只讨论“给定密钥可完全恢复”这一层,不涉及语义安全、选择明文攻击等密码学定义。
  • “模型是否学会 Base64 解码”是待检验的推测,本页给出的是实验思路,没有引用任何具体模型的内部探测结果。
  • 经验熵数值来自本页自算的小样本,只用于说明符号边界的影响,不代表任何真实语料的熵。
  • 开头的对话是这类提问的典型版本,不是逐字记录;示例数据为构造。

参考文献

Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience. https://doi.org/10.1002/047174882X
Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
Shannon, C. E. (1949). Communication Theory of Secrecy Systems. Bell System Technical Journal, 28(4), 656–715. https://doi.org/10.1002/j.1538-7305.1949.tb00928.x