只须一块 6 年前的 2080Ti,就能作念大模子数据蒸馏?
来自上交大 EPIC 执行室等机构的一项最新商量,提议了一种新的数据集蒸馏要领——NFCM。
与前 SOTA 比拟,新要领的显存占用唯有 1/300,何况速率晋升了 20 倍,规划论文获取了CVPR 满分。
NCFM 引入了一个缓助的神经汇集,将数据集蒸馏再行表述为一个极小化极大(minmax)优化问题。
在多个基准数据集上,NCFM 齐取得了显耀的性能晋升,并展现出可膨胀性。
在 CIFAR 数据集上,NCFM 只需 2GB 摆布的 GPU 内存就能竣事无损的数据集蒸馏,用 2080Ti 即可竣事。
何况,NCFM 在连合学习、神经架构搜索等下流任务上也展现了优异的性能。
将数据蒸馏滚动为 minmax 优化
NCFM 的中枢是引入了一个新的散播各别度量 NCFD,并将数据集蒸馏问题滚动为一个 minmax 优化问题。
通过轮换优化合成数据以最小化 NCFD,以及优化采样汇集以最大化 NCFD,NCFM 在晋升合成数据质料的同期,陆续增强散播各别度量的明锐性和灵验性。
特征提真金不怕火与频率参数采样
NCFM 的第一步,是进行特征提真金不怕火,也等于从信得过数据集和合成数据麇集分袂采样一批数据,并将其输入到特征提真金不怕火采聚会。
特征提真金不怕火汇集将原始数据从像素空间映射到一个特征空间,得到对应的特征默示,主见是提真金不怕火数据的高层语义特征,为后续的散播匹配作念准备。
特征提真金不怕火汇集不错是一个预检会的模子,也不错是一个立地运行化的模子,这里 NCFM 摄取了一种混杂格局。
接下来,NCFM引入了一个轻量级的神经汇集算作采样汇集,它收受一个立地噪声算作输入,输出一组频率参数。
这些频率参数将用于对特征函数(Characteristic Function,CF)进行采样。
特征函数揣度与散播各别度量
关于每一个频率参数,将其与特征默示进行内积运算,然后取复指数,就得到了对应的 CF 值。
这两个 CF 值齐是复数,其中实部描摹了数据在该频率上的散播界限,捕捉散播的散度或千般性;虚部则反应了数据在该频率上的散播中心,捕捉散播的典型性或信得过性。
通过比较信得过数据和合成数据的 CF 值,就不错全面地度量它们在特征空间上的散播各别。
为了定量地度量信得过数据和合成数据之间的散播各别,NCFM 引入了一个称为神经特征函数各别(Neural Characteristic Function Discrepancy,NCFD)的度量。
NCFD 概括有计划了系数采样频率上的 CF 各别,将其汇总为一个标量值。NCFD 越小,确认两个散播越接近;NCFD 越大,确认两个散播各别越大。
minmax 优化
有了 NCFD 这个散播各别度量,NCFM 的优化策画就很明晰了——
最小化 NCFD,使得合成数据和信得过数据的散播尽可能接近;同期,望最大化 NCFD 对合成数据的明锐度,使之未必准确反应合成数据的变化。
为了同期竣事这两个策画,NCFM引入了一个 minmax 优化框架:
在极小化阶段,固定采样汇集的参数,休养合成数据,策画是最小化 NCFD。这一步使得合成数据向信得过数据散播陆续逼近。
在极大化阶段,固定合成数据,休养采样汇集的参数,策画是最大化 NCFD。这一步使得 NCFD 对合成数据的各别愈加明锐,晋升其算作各别度量的灵验性。
通过轮换进行极小化阶段和极大化阶段的优化,NCFM 陆续矫正合成数据的质料,同期也陆续强化 NCFD 度量的明锐性和准确性。
模子微调与标签生成
为了进一步晋升合成数据的质料,NCFM 在优化历程中还引入了两个特等的尺度——模子微长入标签生成。
在模子微调阶段,NCFM 用合成数据微调特征提真金不怕火汇集,使其愈加适应合成数据的特征散播,从而进一步放松合成数据和信得过数据之间的特征各别,提高合成数据的信得过性;
在标签生成阶段,用一个预检会的教师模子来为合成数据生成软标签。软标签提供了愈加丰富和细粒度的监督信息,不错引导合成数据更好地效法信得过数据的类别散播,提高合成数据的千般性。
一块 2080Ti 惩处 CIFAR 执行
比拟于此前线法,NCFM 在多个数据集上竣事了显耀的性能晋升。
在 CIFAR-10、CIFAR-100、等数据麇集上,NCFM 在每类 1/10/50 张图片的情况下的测试精度均特出了系数 baseline 要领。
在 ImageNet 的各个子集上,NCFM 也展现了不凡的性能。
举例在 ImageNette 上,每类 10 张图片晌,NCFM 达到了 77.6% 的测试精度,比现存最好要领(RDED)进步 14.4 个百分点;
在 ImageSquawk 上,每类 10 张图片晌,NCFM 达到了 72.8% 的测试精度,比现存最好要领(MTT)进步 20.5 个百分点。
在性能晋升的同期,NCFM 还竣事了大齐的速率晋升和资源从简。
在 CIFAR-100 上,NCFM 每轮迭代的平均检会时分比 TESLA 快了 29.4 倍,GPU 内存蓦的仅为 TESLA 的 1/23.3(每类 50 张图片);
在 Tiny ImageNet 上,NCFM 每轮迭代的平均检会时分比 TESLA 快了 12.8 倍,GPU 内存蓦的仅为 TESLA 的 1/10.7(每类 10 张图片)。
何况,NCFM 在 CIFAR-10 和 CIFAR-100 上竣事了无损的数据集蒸馏,仅使用了约 2GB 的 GPU 内存,使得 CIFAR 上的系数执行齐不错在一块 2080Ti 上进行。
此外,NCFM 生成的合成数据在跨模子泛化才气上特出了现存要领。
举例在 CIFAR-10 上,用 NCFM 生成的合成数据检会 AlexNet、VGG 和 ResNet,齐取得了比现存要领更高的测试精度。
本文第一作家,是上交大东说念主工智能学院 EPIC 执行室博士生王少博。
王少博本科就读于哈工大软件工程专科,专科名次序又名;然后在上交大读研,导师是严骏驰教师,商量标的为深度学习表面和可阐发性机器学习,其间专科名次序二。
当今王少博正在张林峰助理教师认确凿 EPIC 执行室读博,商量标的为"高效、可阐发的深度学习和"大模子。
王少博当今的导师张林峰,是本文的通信作家。
同期,张林峰还在 NeurIPS、ICML、ICLR、CVPR 等顶级学术会议当中担任审稿东说念主。
张林峰还曾到香港科技大学(广州)担任探望助理教师,他的邀请东说念主胡旭明不异是又名年青博导,何况也参与了本面容。
此外还有 EPIC 执行室的其他成员,以及来自上海 AI 执行室的学者,亦参与了 NFCM 的商量。
论文地址:
https://github.com/gszfwsb/NCFM九游体育app官网/blob/main/asset/paper.pdf
GitHub 仓库:
https://github.com/gszfwsb/NCFM