只须一块 6 年前的 2080Ti，就能作念大模子数据蒸馏？

来自上交大 EPIC 执行室等机构的一项最新商量，提议了一种新的数据集蒸馏要领——NFCM。

与前 SOTA 比拟，新要领的显存占用唯有 1/300，何况速率晋升了 20 倍，规划论文获取了CVPR 满分。

NCFM 引入了一个缓助的神经汇集，将数据集蒸馏再行表述为一个极小化极大（minmax）优化问题。

在多个基准数据集上，NCFM 齐取得了显耀的性能晋升，并展现出可膨胀性。

在 CIFAR 数据集上，NCFM 只需 2GB 摆布的 GPU 内存就能竣事无损的数据集蒸馏，用 2080Ti 即可竣事。

何况，NCFM 在连合学习、神经架构搜索等下流任务上也展现了优异的性能。

将数据蒸馏滚动为 minmax 优化

NCFM 的中枢是引入了一个新的散播各别度量 NCFD，并将数据集蒸馏问题滚动为一个 minmax 优化问题。

通过轮换优化合成数据以最小化 NCFD，以及优化采样汇集以最大化 NCFD，NCFM 在晋升合成数据质料的同期，陆续增强散播各别度量的明锐性和灵验性。

特征提真金不怕火与频率参数采样

NCFM 的第一步，是进行特征提真金不怕火，也等于从信得过数据集和合成数据麇集分袂采样一批数据，并将其输入到特征提真金不怕火采聚会。

特征提真金不怕火汇集将原始数据从像素空间映射到一个特征空间，得到对应的特征默示，主见是提真金不怕火数据的高层语义特征，为后续的散播匹配作念准备。

特征提真金不怕火汇集不错是一个预检会的模子，也不错是一个立地运行化的模子，这里 NCFM 摄取了一种混杂格局。

接下来，NCFM引入了一个轻量级的神经汇集算作采样汇集，它收受一个立地噪声算作输入，输出一组频率参数。

这些频率参数将用于对特征函数（Characteristic Function，CF）进行采样。

特征函数揣度与散播各别度量

关于每一个频率参数，将其与特征默示进行内积运算，然后取复指数，就得到了对应的 CF 值。

这两个 CF 值齐是复数，其中实部描摹了数据在该频率上的散播界限，捕捉散播的散度或千般性；虚部则反应了数据在该频率上的散播中心，捕捉散播的典型性或信得过性。

通过比较信得过数据和合成数据的 CF 值，就不错全面地度量它们在特征空间上的散播各别。

为了定量地度量信得过数据和合成数据之间的散播各别，NCFM 引入了一个称为神经特征函数各别（Neural Characteristic Function Discrepancy，NCFD）的度量。

NCFD 概括有计划了系数采样频率上的 CF 各别，将其汇总为一个标量值。NCFD 越小，确认两个散播越接近；NCFD 越大，确认两个散播各别越大。

minmax 优化

有了 NCFD 这个散播各别度量，NCFM 的优化策画就很明晰了——

最小化 NCFD，使得合成数据和信得过数据的散播尽可能接近；同期，望最大化 NCFD 对合成数据的明锐度，使之未必准确反应合成数据的变化。

为了同期竣事这两个策画，NCFM引入了一个 minmax 优化框架：

在极小化阶段，固定采样汇集的参数，休养合成数据，策画是最小化 NCFD。这一步使得合成数据向信得过数据散播陆续逼近。

在极大化阶段，固定合成数据，休养采样汇集的参数，策画是最大化 NCFD。这一步使得 NCFD 对合成数据的各别愈加明锐，晋升其算作各别度量的灵验性。

通过轮换进行极小化阶段和极大化阶段的优化，NCFM 陆续矫正合成数据的质料，同期也陆续强化 NCFD 度量的明锐性和准确性。

模子微调与标签生成

为了进一步晋升合成数据的质料，NCFM 在优化历程中还引入了两个特等的尺度——模子微长入标签生成。

在模子微调阶段，NCFM 用合成数据微调特征提真金不怕火汇集，使其愈加适应合成数据的特征散播，从而进一步放松合成数据和信得过数据之间的特征各别，提高合成数据的信得过性；

在标签生成阶段，用一个预检会的教师模子来为合成数据生成软标签。软标签提供了愈加丰富和细粒度的监督信息，不错引导合成数据更好地效法信得过数据的类别散播，提高合成数据的千般性。

一块 2080Ti 惩处 CIFAR 执行

比拟于此前线法，NCFM 在多个数据集上竣事了显耀的性能晋升。

在 CIFAR-10、CIFAR-100、等数据麇集上，NCFM 在每类 1/10/50 张图片的情况下的测试精度均特出了系数 baseline 要领。

在 ImageNet 的各个子集上，NCFM 也展现了不凡的性能。

举例在 ImageNette 上，每类 10 张图片晌，NCFM 达到了 77.6% 的测试精度，比现存最好要领（RDED）进步 14.4 个百分点；

在 ImageSquawk 上，每类 10 张图片晌，NCFM 达到了 72.8% 的测试精度，比现存最好要领（MTT）进步 20.5 个百分点。

在性能晋升的同期，NCFM 还竣事了大齐的速率晋升和资源从简。

在 CIFAR-100 上，NCFM 每轮迭代的平均检会时分比 TESLA 快了 29.4 倍，GPU 内存蓦的仅为 TESLA 的 1/23.3（每类 50 张图片）；

在 Tiny ImageNet 上，NCFM 每轮迭代的平均检会时分比 TESLA 快了 12.8 倍，GPU 内存蓦的仅为 TESLA 的 1/10.7（每类 10 张图片）。

何况，NCFM 在 CIFAR-10 和 CIFAR-100 上竣事了无损的数据集蒸馏，仅使用了约 2GB 的 GPU 内存，使得 CIFAR 上的系数执行齐不错在一块 2080Ti 上进行。

此外，NCFM 生成的合成数据在跨模子泛化才气上特出了现存要领。

举例在 CIFAR-10 上，用 NCFM 生成的合成数据检会 AlexNet、VGG 和 ResNet，齐取得了比现存要领更高的测试精度。

本文第一作家，是上交大东说念主工智能学院 EPIC 执行室博士生王少博。

王少博本科就读于哈工大软件工程专科，专科名次序又名；然后在上交大读研，导师是严骏驰教师，商量标的为深度学习表面和可阐发性机器学习，其间专科名次序二。

当今王少博正在张林峰助理教师认确凿 EPIC 执行室读博，商量标的为"高效、可阐发的深度学习和"大模子。

王少博当今的导师张林峰，是本文的通信作家。

同期，张林峰还在 NeurIPS、ICML、ICLR、CVPR 等顶级学术会议当中担任审稿东说念主。

张林峰还曾到香港科技大学（广州）担任探望助理教师，他的邀请东说念主胡旭明不异是又名年青博导，何况也参与了本面容。

此外还有 EPIC 执行室的其他成员，以及来自上海 AI 执行室的学者，亦参与了 NFCM 的商量。

论文地址：

https://github.com/gszfwsb/NCFM九游体育app官网/blob/main/asset/paper.pdf

GitHub 仓库：

https://github.com/gszfwsb/NCFM