技术方案的第一步，永远是调研。

林晨把透明蒸馏项目的调研分为两条线：一条是可解释性方向，交给张明远；另一条是蒸馏方法方向，他自己来。陆小溪负责梳理现有数据管道，评估改造可行性，暂时不参与调研。

周四上午，林晨坐在工位上，面前摊着三篇打印出来的论文，笔记本上密密麻麻写满了标注。屏幕上还开着七八个标签页，全是最近两年顶会里关于模型蒸馏和可解释性的文章。

这不是他第一次做技术调研——入职第一周的可解释性调研他已经做过一轮了，那份四十多页的报告还在内部Wiki上挂着。但那次的调研是广撒网式的，目的是了解全貌；这次的调研是精准打击式的，目的是找到在蒸馏过程中保留可解释性的具体技术路线。

他先梳理了现有的主流蒸馏方法。

硬标签蒸馏是最简单的——教师模型输出分类结果，学生模型直接学习这些标签。效果有保证，但可解释性几乎为零。学生模型学到的是教师的答案，而不是教师的推理过程。PASS。

软标签蒸馏是Hinton在2015年提出的经典方法——教师模型输出概率分布（soft labels），学生模型学习这个分布。好处是信息量更大，坏处是依然只传递了结果层面的知识，没有传递中间层的推理逻辑。PASS。

特征蒸馏更进一步——不仅传递输出，还传递中间层的特征表示。学生模型不仅要学怎么答，还要学怎么想。这个方向更接近目标，但现有的特征蒸馏方法关注的是效果保真，而不是可解释性。也就是说，学生模型学到了中间层的特征分布，但它无法解释这些特征对最终决策的贡献度。有潜力，但不够。

关系蒸馏——教师模型中不同样本之间的关系也被传递给学生模型。比如两篇文章在教师的表示空间里是相似的，学生模型也应该保持这种相似性。这个方法天然带有一定的语义信息，对可解释性有帮助。可以考虑。

注意力蒸馏——将教师模型中的注意力图作为额外监督信号传递给学生。注意力图本身就是一种特征归因——它告诉你模型在哪些位置投入了更多的计算资源。这个方法和可解释性有直接关系，但它只适用于基于注意力机制的模型，对非Transformer架构不适用。重点关注。

林晨在笔记本上画了一个对比表格，把每种方法的优点、缺点、和可解释性的关联度逐一标注。然后他在表格最右边加了一列，标题是可解释性改造潜力。

关系蒸馏和注意力蒸馏的改造潜力最高，但都不完全满足透明蒸馏的需求。他需要的不是在现有蒸馏方法上打补丁，而是设计一种新的蒸馏框架，让可解释性成为蒸馏过程的内生约束，而不是事后添加的附属功能。

他站起来，走到白板前（他们小组申请了一块固定白板，就在工区角落），开始画架构草图。

草图的核心是一个三角形的约束框架：

顶部顶点标注效果保真——学生模型的输出要尽量接近教师模型。 左下顶点标注模型压缩——学生模型的参数量和推理延迟要显着低于教师模型。 右下顶点标注可解释性保持——学生模型要能提供决策归因，解释为什么给出这个结果。

传统的蒸馏方法只优化顶部和左下之间的权衡（效果vs压缩），完全忽略了右下角的可解释性。透明蒸馏要做的是在三者之间找到帕累托最优的平衡点。

他在三角形中间画了一个圈，标注核心创新点：可解释性感知的蒸馏损失函数。

这个损失函数由三部分组成：