子空间感知稀疏自编码器（SASA）：破解大模型内部表征的"特征分裂"难题

核心结论

传统稀疏自编码器（SAE）假设语言模型的内部表征是严格一维的，导致在重构固有高维概念时引发严重的特征分裂现象 [1]。最新研究提出的子空间感知稀疏自编码器（SASA）通过引入可学习的解码器子空间与块结构稀疏机制，不仅大幅提升了模型的单语义性与机械可解释性，还在减少一半训练 Token 的前提下达到了极佳的重构效果 [1, 2]。

概念背景

机械可解释性领域广泛依赖 SAE 来解耦大语言模型（LLM）内部复杂的激活向量。然而，标准 SAE 架构为每个隐层特征仅分配单一解码向量，隐式假设模型内部的概念是严格一维的 [1]。优化分析显示，当 LLM 表示固有维度 $d_i \ge 2$ 的多维概念时，传统带有 L1 正则化的 SAE 优化动力学倾向于将连贯的概念打碎，分散到大量近乎共线的隐特征中，导致严重的特征碰撞与可解释性下降 [1, 3]。

技术原理

SASA 针对这一结构性不匹配做出了根本性改进：

• 子空间解码器块：使用可学习的解码器子空间替代原有的单向量解码方向，直接匹配概念的高维本质 [1, 2]。
• Top-s 组门控：采用组门控（Group Gating）机制替代单特征稀疏控制，实现块结构化稀疏 [1]。
• 核范数正则化：在各个子空间块内部嵌入核范数（Nuclear-norm）正则化项，可自适应调整子空间的有效秩，使其精准契合对应特征的固有维度 [1]。

关键演进

理论推导表明，只要子空间块容量满足 $r \ge d_i$，单个 SASA 子空间组即可成为优化问题的全局极小值点 [1]。这一发现将多维特征重构的样本复杂度从以往的指数级直接降低至多项式级 [1]。在 GPT-2 和 Mistral-7B 等模型上的实验表明，SASA 能够大幅抑制特征分裂（Feature Splitting）与特征吸收（Feature Absorption），显著增强隐层表征的单语义性 [1, 2]。

实用价值

在实用层面，SASA 展现出了卓越的计算效益。与标准向量 SAE 相比，SASA 仅需使用约一半的 Token 训练预算，就能获得匹配甚至超越前者的重构质量与可解释性表现 [1, 2]。这大幅降低了针对中大型语言模型进行深度机制审计的计算成本 [2]。

风险与限制

尽管 SASA 优势显著，但在实际应用中仍面临一定限制：

1. 最大子空间秩 $r$ 的超参数设定依赖对模型激活维度的估计或调优 [1]。
2. 组门控与核范数正则化相比简单的 L1 向量 SAE 增加了适度的单步计算开销 [1]。
3. 目前在超过 700 亿参数（>70B）的超大语言模型以及视觉-语言多模态模型上的大规模验证仍处于持续推进阶段 [1]。

参考来源

1. Subspace-Aware Sparse Autoencoders for Effective Mechanistic Interpretability - arXiv (2026-06-04)
2. SASA: Subspace-Aware Sparse Autoencoders Official Repository - GitHub (2026-06-04)
3. Descriptive Collision in Sparse Autoencoder Auto-Interpretability - arXiv (2026-05-13)