语义频率提示是什么？在频率域里做知识蒸馏的新方法

语义频率提示（Semantic Frequency Prompt）是一种在频率域中指导知识蒸馏的方法，由北京大学、悉尼大学和浙江大学在 2023 年 11 月联合提出，出自论文《FreeKD：通过语义频率提示进行知识蒸馏》。

背景：知识蒸馏

知识蒸馏是把一个大模型（教师）的能力“传授”给一个小模型（学生）的技术：让学生模仿教师的输出或中间特征，从而用更小的模型获得接近大模型的效果，便于在手机、摄像头等资源有限的设备上部署。在目标检测、语义分割这类密集预测任务中，常见的做法是让学生模仿教师的中间特征图。但特征图里信息很多，并不是每个位置、每种信息都同等重要，全盘照抄效果并不好，关键在于选对该模仿的部分。

换到频率域看问题

这项研究从频率的角度分析特征。可以把一张特征图分解成不同的频率成分：低频成分对应大片的、平滑的整体结构，比如物体的大致轮廓和区域；高频成分对应细节和边缘，比如物体的边界和纹理。研究者发现，在空间域里直接蒸馏时，这些频率成分混在一起，而对密集预测任务来说，高频的细节信息尤其重要，比如准确的物体边界，但其中也夹杂着噪声。

语义频率提示怎么做

语义频率提示是一组可学习的提示，它们与特征的各个频率带进行交互，确定像素级的模仿原则，也就是在每个频率带上，学生应该重点模仿教师的哪些位置。在微调教师模型时，这些提示会吸收语义频率的上下文信息，学会定位有意义的频率区域。之后在蒸馏时，提示为学生模型重构教师的频率带提供精确的指导：在关键的位置上认真模仿，在不重要或有噪声的位置上少花力气。研究者还为频率域的蒸馏设计了相应的损失函数。

效果

论文报告，基于语义频率提示的 FreeKD 方法，在目标检测和语义分割等多个密集预测任务上，持续优于在空间域进行蒸馏的已有方法，学生模型的表现更接近教师，并且具有更好的鲁棒性。这项工作为知识蒸馏提供了一个频率域的新视角。