Scaling Monosemanticity 用稀疏自编码器拆解 Claude 3 Sonnet 的内部特征

Scaling Monosemanticity 将大模型某一层的稠密激活分解为少量正在活动的稀疏特征，使研究者能够检查某个概念方向何时激活，以及改变它会怎样影响模型输出。

Anthropic 在 2024 年发布这项研究，并把稀疏自编码器扩展到 Claude 3 Sonnet 的中间层残差流。团队训练了最多约 3400 万个特征的字典，展示了跨语言、跨图文和安全相关的特征，也通过干预测试了部分特征对输出的影响。该报告后来以 arXiv 2605.29358 · Trackback 记录 公开为 2026 年 v1。研究内容和署名日期仍对应 2024 年的 Transformer Circuits Thread 版本。(Templeton et al., 2024)

先看金门大桥特征

报告中的一个 SAE 特征在文本提到金门大桥时强烈激活，也会对金门大桥的图片激活。它在较弱激活时还会响应其他旧金山地标、桥梁和旅游景点。研究者把这一组激活样本概括为“金门大桥特征”。

这个特征并不是 Claude 原网络中的单个神经元。它是稀疏自编码器学到的一个方向，由许多原始激活维度共同组成。研究者提高这个方向的激活值后，Claude 更容易在回答中谈到金门大桥；干预过强时，输出会被这一主题占据并失去正常连贯性。

这个例子同时展示了两种证据。

1. 观察证据检查特征强激活时，输入中是否稳定出现相应概念。
2. 干预证据检查人为改变该特征后，模型行为是否沿预测方向变化。

两者结合，比只展示若干高激活文本更接近功能解释。一次局部干预仍然不能证明该方向完整表达了“金门大桥”概念，也不能证明模型所有相关计算都经过这个方向。

为什么直接观察神经元不够

语言模型中的一个神经元可能在多种互不相关的上下文中激活，这种现象通常称为多义性。Anthropic 的解释建立在两个假设上。

• 线性表示假设认为，许多有意义的属性可以对应激活空间中的方向。
• 叠加假设认为，高维空间可以利用近似正交的方向，在 $D$ 个维度中容纳多于 $D$ 个特征。

若一层同时保存的概念数多于神经元数，寻找“一个神经元对应一个概念”就会遗漏分布在多个神经元上的结构。字典学习改为寻找一组过完备方向，让每个输入只调用其中很少一部分。

这里的“单义”描述理想的分析单位。一个特征若能在不同输入上保持一致含义，就比多义神经元更容易命名和追踪。稀疏训练会鼓励这种结果，却没有从数学上保证每个学到的特征都只有一个含义。

稀疏自编码器怎样拆解一次激活

设 Claude 中间层某个 token 的归一化残差流激活为 $\mathbf{x}\in {\mathbb{R}}^D$。编码器把它映射到包含 $F$ 个单元的高维空间。

$$f_i(\mathbf{x})=\mathrm{ReLU}\left({\mathbf{W}}_{i,\cdot }^{\mathrm{enc}}\mathbf{x}+b_i^{\mathrm{enc}}\right).$$

$f_i(\mathbf{x})$ 是第 $i$ 个 SAE 特征的激活值。ReLU 把负值截为零，使许多特征在当前 token 上保持关闭。

解码器再用这些稀疏激活重构原向量。

$$\hat{\mathbf{x}}={\mathbf{b}}^{\mathrm{dec}}+\sum _{i=1}^F{f}_i(\mathbf{x}){\mathbf{W}}_{\cdot ,i}^{\mathrm{dec}}.$$

${\mathbf{W}}_{\cdot ,i}^{\mathrm{dec}}$ 是第 $i$ 个特征写回残差流时使用的方向。模型希望重构值 $\hat{\mathbf{x}}$ 接近原激活，同时限制正在活动的特征数量和强度。

$$\mathcal{L}={\mathbb{E}}_{\mathbf{x}}\left[{\Vert \mathbf{x}-\hat{\mathbf{x}}\Vert }_2^2+\lambda \sum _i{f}_i(\mathbf{x}){\Vert {\mathbf{W}}_{\cdot ,i}^{\mathrm{dec}}\Vert }_2\right].$$

第一项是重构误差。第二项是稀疏惩罚，$\lambda$ 控制稀疏程度。解码方向的范数进入惩罚项，可以阻止编码激活被整体缩小、解码权重被等比例放大的尺度投机。

这套目标没有使用“金门大桥”“欺骗”或“代码错误”等人工标签。特征含义来自训练后对高激活样本、自动解释结果和干预实验的分析。低损失只能说明稀疏重构代理目标较好，不能直接等同于更准确的概念解释。

3400 万个特征是怎样扩展出来的

团队在 Claude 3 Sonnet 中间层残差流上训练了三种规模的 SAE。模型本身是闭源的，报告没有公开 Claude 3 Sonnet 的参数规模，也省略了部分图表单位。

SAE 字典规模	每个 token 平均激活特征数	重构解释的激活方差	在 $10^7$ 个 token 样本上未激活的特征比例
约 100 万	少于 300	至少 $65\%$	约 $2\%$
约 400 万	少于 300	至少 $65\%$	约 $35\%$
约 3400 万	少于 300	至少 $65\%$	约 $65\%$

字典扩大后，每个 token 仍只激活不到 300 个特征。大量特征保持关闭，这正是稀疏分解的计算形态。3400 万字典中约 $65\%$ 的特征在检查样本上从未激活，也说明特征容量、训练数据和稀有概念覆盖之间仍有明显矛盾。

团队用缩小规模的训练扫描拟合计算缩放关系，再在固定计算预算下分配字典大小和训练步数。训练损失在测试范围内随计算量近似按幂律下降。这里的缩放律优化的是重构误差与稀疏惩罚的组合。作者明确承认该指标只是可解释性的代理，尚无公认的字典质量真值。

扩大字典还会改变概念粒度。报告中的 “San Francisco” 特征在约 100 万特征的字典中表现为一个宽泛方向，在约 400 万字典中分成两个方向，在约 3400 万字典中进一步分出 11 个方向。这个现象更接近尺度相关的特征拆分，不能解释成研究者逐步逼近了一套唯一的概念分类法。

因此，Scaling Monosemanticity 的直接成果是把稀疏特征发现扩展到生产规模模型，并展示可预测的工程缩放规律。它没有证明扩大字典必然得到唯一、完整或更接近人类概念体系的特征表。

研究怎样判断一个特征有意义

激活样本是否支持同一个解释

研究者先查看最强激活样本和不同激活区间的随机样本，再让 Claude 3 Opus 按四级量表判断文本与特征解释的匹配程度。四个重点案例各抽取了约 1000 次激活，强激活样本得到较高的一致性评分。

这种方法可以测量特异性，即特征激活时相关概念是否出现。敏感性更难测量，因为研究者需要构造一组不偏向既有解释、同时又确实包含目标概念的文本。报告没有建立覆盖全部 3400 万特征的人工真值集。

SAE 特征与原始神经元有什么差别

在约 100 万特征 SAE 的随机子集中，$82\%$ 的特征与此前各层任一神经元的最高 Pearson 相关系数不超过 $0.3$。团队又随机抽取 100 个 SAE 特征和 100 个神经元进行自动可解释性比较，SAE 特征的平均可解释性与特异性更高。

这组结果支持 SAE 特征通常由多个原始维度组合而成，与任一单个原始神经元的关系较弱。它仍只是有限样本上的自动评估，评分器、提示设计和被选模型都会影响结果，不能由此断言每个 SAE 特征都比每个神经元更容易解释。

改变特征会不会改变输出

团队在前向计算中把选定特征固定到更高或更低的值。金门大桥、代码错误、阿谀和欺骗等方向的干预，会使模型输出出现与特征解释一致的变化。强干预有时造成不自然和失控的输出，这说明特征方向具有行为影响，也说明 steering 强度本身需要校准。报告中的干预系数主要用于定性展示，没有形成跨特征的系统剂量扫描。

干预建立的是特定位置和设定下的因果影响。它没有给出完整回路，也不能排除多个相关特征共同承担同一功能。

特征是否参与中间计算

报告还研究了需要情绪推断和多步推断的提示。研究者先计算某个特征对目标输出 logit 的局部线性归因，再用逐特征消融检验真实影响。在两个附录案例中，归因与消融效应的相关系数约为 $0.81$，单看激活值与消融效应的相关系数约为 $0.12$。

这项比较说明“激活很高”与“对当前输出很重要”是不同判断。归因会结合输出梯度，更适合筛选需要昂贵消融验证的候选特征。两个案例不足以建立跨任务的普遍精度保证。

找到安全相关特征意味着什么

研究者发现了与代码漏洞、偏见、阿谀、欺骗、权力追求和危险内容有关的 SAE 特征，也能通过干预让部分相关行为增强或减弱。(Templeton et al., 2024)

这些结果说明 Claude 的内部计算包含能够响应相关语境、并对部分输出产生影响的方向。一个模型需要表示“欺骗”才能讨论或拒绝欺骗请求。特征存在本身不能证明模型正在欺骗、拥有相应目标，或会在真实环境中采取行动。报告作者也明确警告不要从安全相关概念的存在直接推断模型意图。

更可靠的安全研究需要继续追问特征在什么输入上激活、漏检哪些实例、干预能否稳定改变风险行为，以及结果能否跨分布和模型版本成立。

它与邻近方法怎样分工

分析单位或方法	怎样得到方向	适合回答的问题	主要限制
原始神经元	模型训练时自然形成	某个现成单元在做什么	经常多义，分析单位受架构固定
线性探针或 steering vector	使用目标概念的正负样本监督拟合	模型是否编码已知属性，怎样定向干预	每个概念通常需要单独数据，探针可读出信息不等于模型实际使用它
稀疏自编码器	无监督重构激活并施加稀疏约束	模型可能使用了哪些未预先指定的方向	字典不完整、不唯一，训练与验证成本高
Transcoder 或跨层 Transcoder	用稀疏特征近似一层或多层计算	特征怎样相互作用并形成计算路径	替代模型有重构误差，路径可能偏离原模型机制

SAE 的突出价值是一次训练得到大量候选方向，把概念发现成本分摊到后续分析。已知目标明确且有标注数据时，线性探针通常更直接。研究计算过程时，单层 SAE 只给出某处激活的分解，Transcoder 和归因图更接近回路分析。

OpenAI 在 2024 年使用 TopK 激活训练了包含 1600 万个 latent 的 GPT-4 SAE，并直接控制每次激活的特征数量。这一设计缓解了 L1 训练中的收缩与死特征问题，也表明大规模 SAE 并非 Anthropic 单一模型上的孤立工程结果。arXiv 2406.04093 · Trackback 记录(Gao et al., 2024)

Anthropic 在 2025 年进一步采用跨层 Transcoder 和归因图，把稀疏特征从静态激活目录推进到提示级计算路径。该方法仍需依赖替代模型、误差节点和干预验证。(Ameisen et al., 2025)

哪些问题仍然没有解决

1. 可解释性没有公认真值。 重构误差、稀疏度和自动解释分数都属于代理指标。自动评分器同样由 Claude 承担，不能视作独立人工审查。
2. 字典不完整。 论文估计当前规模距离覆盖 Sonnet 全部特征仍可能差几个数量级，稀有特征还会受到训练数据覆盖限制。以伦敦行政区为例，模型能够列出全部行政区，但研究者只在约 3400 万字典中找到其中约 $60\%$ 的对应特征；未找到可能来自字典缺失、检索失败或概念由多个方向共同表达。
3. 特征未必原子或唯一。 ICLR 2025 研究使用 SAE stitching 和 meta-SAE 表明，小字典会漏掉大字典中的信息，大字典特征又可能分解成较小字典特征的组合。SAE 的粒度随字典规模变化，无法直接当作模型唯一的“概念元素周期表”。arXiv 2502.04878 · Trackback 记录(Leask et al., 2025)
4. 单层分析遗漏跨层结构。 特征可能分散在多个层中。中间层残差流只能汇总此前写入的内容，无法完整解释后续层形成的特征。
5. L1 稀疏会产生收缩。 非零特征激活可能被系统性低估，重构与稀疏的折中随 $\lambda$ 改变。
6. 重构残差可能包含关键计算。 SAE 没有解释的激活部分不能自动视作噪声。把重构激活代回原模型后，行为差异需要单独测试。
7. 复现范围受限。 Claude 3 Sonnet 的参数规模和模型权重没有公开，图表中也省略了部分单位。外部研究者可以检验 SAE 思路，无法逐项复现本文的 Claude 实验。

这些问题不会抹去 SAE 作为研究工具的价值。它们要求研究者把特征标签视为待验证的假设，并让稳定性、干预和替代模型误差进入结论。

怎样判断一项 SAE 结果是否可信

• 检查训练的是哪一层、哪类激活和哪种数据分布。
• 同时报告重构误差、每个样本的活动特征数和死特征比例。
• 分开测量特异性与敏感性，避免只展示最强激活样本。
• 用激活干预或消融检验功能影响，记录位置、强度与输出指标。
• 比较不同随机种子、字典规模和层位置下的特征稳定性。
• 对已知概念加入神经元、线性探针和 steering vector 基线。
• 测试 SAE 重构替换后的模型行为，而不只比较激活向量均方误差。
• 将自动生成的特征名称交给独立样本或人工复核。

如果目标是无监督发现模型可能使用的概念方向，SAE 值得主动研究。如果目标只是检测一个已知属性，监督探针通常成本更低。如果目标是解释完整的多步计算，SAE 适合作为特征候选生成器，后续仍需要 Transcoder、归因图和干预实验。

最值得带走的判断

这项工作的贡献类型是大规模方法验证与探索性机制分析。它证明了稀疏字典学习可以在 Claude 3 Sonnet 的中间层提取许多可命名、可干预的方向，也展示了字典训练随计算量扩展的工程规律。

它最有价值的认识是把神经元与概念分开。模型的物理单元由架构决定，可理解的分析单位可以通过数据驱动方法另行学习。由此得到的特征目录仍然依赖字典大小、训练数据和优化方法，当前更适合作为提出并检验机制假设的工具。

对机械可解释性学习者，这篇报告适合主动精读。对只关心模型调用或应用开发的读者，理解叠加、SAE 分解和干预验证三个部分已经足够。

参考资料与核验范围

• Scaling Monosemanticity 原始交互报告
• 2026 年 arXiv v1 · Trackback 记录
• OpenAI 的 Scaling and Evaluating Sparse Autoencoders · Trackback 记录
• ICLR 2025 关于 SAE 非唯一与非原子性的研究 · Trackback 记录
• Anthropic 2025 年 Circuit Tracing 方法

本文依据 Scaling Monosemanticity 全文、2026 年 arXiv v1、OpenAI 的大规模 SAE 报告、ICLR 2025 的反例研究和 Anthropic 后续归因图方法整理，核验日期为 2026 年 9 月 12 日。正文中的 100 万、400 万和 3400 万字典结果来自 Claude 3 Sonnet 报告；本文没有访问 Claude 权重、训练 SAE 或复现干预实验。对方法当前定位的判断属于基于这些公开研究的综合分析。

Ameisen, E., Lindsey, J., Pearce, A., Gurnee, W., Turner, N. L., Chen, B., Citro, C., & others. (2025). Circuit Tracing: Revealing Computational Graphs in Language Models. Transformer Circuits Thread. https://transformer-circuits.pub/2025/attribution-graphs/methods.html

Gao, L., Dupré la Tour, T., Tillman, H., Goh, G., Troll, R., Radford, A., Sutskever, I., Leike, J., & Wu, J. (2024). Scaling and Evaluating Sparse Autoencoders. arXiv Preprint arXiv:2406.04093. https://doi.org/10.48550/arXiv.2406.04093

Leask, P., Bussmann, B., Pearce, M., Bloom, J., Tigges, C., Al Moubayed, N., Sharkey, L., & Nanda, N. (2025). Sparse Autoencoders Do Not Find Canonical Units of Analysis. International Conference on Learning Representations. https://arxiv.org/abs/2502.04878

Templeton, A., Conerly, T., Marcus, J., Lindsey, J., Bricken, T., Chen, B., Pearce, A., Citro, C., Ameisen, E., Jones, A., Cunningham, H., Turner, N. L., McDougall, C., MacDiarmid, M., Tamkin, A., Durmus, E., Hume, T., Mosconi, F., Freeman, C. D., … Henighan, T. (2024). Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. Transformer Circuits Thread. https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html