别再只扰动学生:让教师读“坏输入”,预训练蒸馏反而更好

核心摘要:标准预训练蒸馏只让教师标注原始文本,学生因此看不到教师在训练分布之外的反应。这项研究在训练早期给教师和学生同时喂入扰动输入,再让教师现场生成监督信号,随后切回普通蒸馏。相邻 token 混合表现最好,在 135M 和 0.5B 学生上分别把验证损失再降低 0.025 和 0.020 nats;0.5B 模型的七项零样本任务平均分也提高约 1.1 个点。我觉得它最值钱的地方不是又发明了一种数据增强,而是用消融把收益来源指向了“教师在扰动输入上的预测”,这给预训练蒸馏打开了一个很便宜的改造口。

论文信息

  • 原题:Perturbing Inputs Improves Pretraining Distillation
  • 作者:Ziyang Cai、Yihe Dong、Dimitris Papailiopoulos、Shivam Garg
  • 提交时间:2026 年 11 月 8 日
  • 论文链接:arXiv:2611.11598
  • 机构信息:arXiv 摘要页未列出

教师懂得很多,但学生只见过它做“原题”

训练小语言模型时,在线知识蒸馏已经很常见:教师和学生读同一段文本,学生逐位置拟合教师的下一 token 分布。相比只拿真实下一个 token 做交叉熵,教师给出的整条概率分布含有更多信息,比如哪些同义表达也合理、哪些错误更接近正确答案。

但这里有个容易被忽略的限制。

教师其实是一个定义在大量可能输入上的函数,而标准蒸馏只查询它在原始训练语料上的输出。学生看到的是教师对“干净文本”的回答,却看不到教师面对略有损坏、混合或偏离自然分布的输入时会怎样变化。

我的第一反应是:预训练语料已经足够多,教师在每个位置都输出全词表分布,监督信号还会不够吗?这篇论文给出的回答挺干脆——够不够用,不能只看干净文本上的标签有多丰富,还要看学生是否因此学到更稳定、更容易泛化的教师行为。

图1a:标准蒸馏与扰动输入蒸馏的区别

图 1a:上半部分是标准蒸馏,教师和学生都读取干净输入 \(x\);下半部分是训练早期的扰动阶段,两者都读取 \(\tilde{x}\),学生拟合教师在这个扰动输入上的输出。变化的不只是学生看到什么,也包括教师在哪里提供监督。

这个区别很关键。普通语言数据增强通常是“学生读坏文本,目标仍是原始 token”;这里则是“教师也读坏文本,并针对坏文本重新作答”。监督目标不再来自另一段输入,而来自学生此刻真正面对的那个输入。

核心摘要之外,先看训练曲线有多反常

如果只在训练早期扰动输入,学生在干净验证集上的表现当然会先落后。论文图 1b 里,0.5B 学生在前 30% 训练中使用相邻 token 混合,干净验证损失一度比标准蒸馏高约 1 nat。

真正有意思的是切换之后。

图1b:两阶段训练中的干净验证损失

图 1b:蓝线在 30% 处从扰动输入切回干净输入,验证损失迅速下坠,约 47% 训练进度时反超标准蒸馏,最终低 0.020 nats。下图用对称对数尺度画两者差值,零线以下代表扰动方案更好。

这条曲线排除了一个很简单的担忧:早期在不自然输入上训练,会不会只留下难以恢复的损伤?至少在这个设置里没有。它更像先让学生接受一段较难、较嘈杂的教师监督,再用后段干净训练把这种监督转化为自然文本上的能力。


方法:不改损失函数,只改变教师被查询的位置

在 one-hot 空间扰动,兼容不同宽度的教师和学生

词表项 \(v\) 的 one-hot 向量记为 \(o_v\)。普通序列在位置 \(t\) 上放置 \(o_{x_t}\),扰动则把它换成少量词表项的稀疏加权和:

\[\tilde{o}_t=\sum_j w_j o_{v_j},\qquad e_t=E^\top\tilde{o}_t\]

教师和学生使用相同的词表项与权重 \((v_j,w_j)\),再分别通过自己的嵌入矩阵 \(E\) 得到输入向量。这个设计很实用:两边隐藏宽度可以不同,不必直接在某一方的 embedding 空间里硬对齐。

早期阶段的目标仍是温度为 1 的前向 KL:

\[\mathcal{L}_{\mathrm{perturb}}=D_{\mathrm{KL}}\left(p_T(\cdot\mid\tilde{x})\,\|\,p_S(\cdot\mid\tilde{x})\right)\]

没有额外的下一 token 损失,也没有新加的对比项、正则项或导数匹配项。过了切换点,就把 \(\tilde{x}\) 换回 \(x\),继续标准蒸馏。

三种扰动,强度从轻到重

图2:三种输入扰动家族

图 2:Noise 在真实 token 之外加入少量高斯权重;Parallel blend 将两篇文档同位置的 token 加权;Adjacent blend 把同一文档相邻两个 token 合并到一个位置。原 token 的主权重仍然保留,这是它与直接随机替换的重要区别。

扰动方式 输入构造 直觉理解 主要超参数
Token noise \(\tilde{o}_t=o_{x_t}+\sigma u_t\) 保留原 token,在随机选出的 8 个词表项上加高斯扰动 噪声强度 \(\sigma\)
Parallel blend \(\tilde{o}_t=\lambda o_{a_t}+(1-\lambda)o_{b_t}\) 两篇独立文档逐位置混合 第一篇文档权重 \(\lambda\)
Adjacent blend \(\tilde{o}_t=\lambda o_{x_{2t}}+(1-\lambda)o_{x_{2t+1}}\) 相邻两个 token 合并到一个输入位置 前一个 token 权重 \(\lambda\)

噪声向量 \(u_t\) 的 8 个位置从词表均匀抽取,权重服从 \(\mathcal{N}(0,1/k)\),其中 \(k=8\),而且不做归一化。每个位置都会重新采样。

两种 blend 有个附带效果:一个模型输入位置装进了两个语料 token,所以扰动阶段在相同步数下接触了更多原始文本。作者没有跳过这个混淆因素,后文会用“只使用基线相同的原始 token”做控制实验。

两阶段日程比想象中重要

学习率采用 warmup–stable–decay:前 10% 预热,中间平台期跨越扰动与干净阶段的边界,末尾 10% 衰减,并且始终落在干净输入阶段。基线除了不做扰动,数据顺序、初始化、步数和学习率日程都一致。

所以它不是“全程加噪”。全程让学生模仿混乱输入上的教师,很可能把训练拖垮;真正有效的是一段比例适中的早期扰动,再留出足够的干净蒸馏时间。


实验设置:同初始化、同数据顺序,尽量只改一个变量

论文评估了两个从零预训练的规模:

配置 135M 学生 0.5B 学生
学生架构 SmolLM2-135M Qwen2.5-0.5B
冻结教师 SmolLM2-1.7B Qwen2.5-1.5B
数据池 58.6B token 的 FineWeb-Edu 65B token 的 FineWeb-Edu
训练量 8000 步,约 4.2B token 19073 步,约 10B token
批形状 512 × 1024 256 × 2048
峰值学习率 \(6\times10^{-4}\) \(1.2\times10^{-3}\)
单次训练算力 约 20 H100 小时 约 90 H100 小时

除数据受限实验外,训练不重复文本。同一规模内,各组从相同初始化开始,以相同顺序读数据。0.5B 最终在 2441 个不重叠的 2048-token 验证窗口上评估,并按窗口做配对误差估计。

这个实验设计让我比较放心。尤其是配对比较,它比各自训练完再拿两个独立数字相减更能排除数据顺序带来的干扰。不过,多数超参数配置只训练了一次,误差条主要反映验证采样,不涵盖完整的训练随机性;读小幅差异时仍要克制。


主结果:三种都有效,相邻 token 混合最强

图3:扰动类型、强度和阶段长度的主实验

图 3:上排是 135M,下排是 0.5B。左列扫噪声强度,中列扫混合权重,右列扫扰动阶段占比;纵轴都是相对标准蒸馏的最终验证损失变化,越负越好。三条家族曲线都呈现明显的甜点位,而不是扰动越强越好。

规模 方法 最佳扰动设置 最佳早期阶段 相对标准蒸馏的损失变化
135M Token noise \(\sigma=0.4\) 50% -0.019 nats
135M Parallel blend \(\lambda=0.7\) 30% -0.018 nats
135M Adjacent blend \(\lambda=0.8\) 30% -0.025 nats
0.5B Token noise \(\sigma=0.75\) 30% 或 50% 接近 -0.012 nats
0.5B Parallel blend \(\lambda=0.5\) 15% -0.012 nats
0.5B Adjacent blend \(\lambda=0.5\) 30% -0.020 nats

在 135M 上,标准蒸馏本身相对下一 token 训练只降低 0.017 nats;相邻混合在此基础上又降低 0.025 nats,达到蒸馏原收益的约 1.45 倍。说实话,看到这个对照时我才真正被吸引住:不是把一个很大的基线差距缩小一点,而是在蒸馏已经带来的收益之外,又拿到一块同量级甚至更大的改进。

0.5B 上,相邻混合在主运行中改善 0.020 nats,配对标准误为 0.0003;另外两个初始化种子得到 0.021 和 0.019。三个种子分别为 0.020、0.021、0.019,这个结果比单次幸运抽样更有说服力。

扰动存在一个“刚好能改变教师,又不至于毁掉教师”的区间

噪声太小,教师在扰动输入上的输出几乎等于干净输入上的输出,学生拿不到多少新监督。0.5B 下,\(\sigma=0.4\) 只让冻结教师的损失上升 0.07 nats,\(\sigma=0.5\) 的收益还不到最佳 \(\sigma=0.75\) 的一半。

噪声太大也不行。\(\sigma=1.2\) 让教师损失上升 3.5 nats,学生最终反而差于标准蒸馏。你想想看,教师自己都已经无法从输入里恢复有用结构,它的软标签再丰富,也很难成为好老师。

混合扰动对阶段长度更敏感。135M 下,两种 blend 都以 30% 最好;扰动占到 70% 时,两者甚至比普通下一 token 训练还差。0.5B 的 parallel blend 更极端,15% 最好,50% 已经有害。工程上不能把“加一点扰动”理解成“整个训练都开扰动”。

我也得坦白一个不舒服的地方:最佳噪声强度从 135M 的 0.4 变成 0.5B 的 0.75,论文没有给出无需扫描的选择原则。方法很简单,但超参数甜点位并不自动迁移。


消融:收益主要来自教师侧,不是普通的学生输入增强

这是全文最值得细读的部分。

图4:教师、学生和混合方式的消融

图 4a 比较有无教师;4b 拆分教师侧和学生侧扰动;4c 排除“只要软标签更平就行”;4d 排除“只要早期教师更弱就行”;4e 检查相邻混合的收益是否只是多读了文本。

没有教师,扰动几乎不灵

同样的噪声或 parallel blend,如果改用原始下一 token 作为目标,不再让教师给扰动输入贴标签,只比下一 token 基线好 0.003 nats,约为有教师时收益的七分之一。

相邻混合更夸张:没有教师时落后普通下一 token 训练 0.03 nats;有教师时,它却是三种方法中最强的。这说明“把输入弄复杂”本身并不产生收益,教师在复杂输入上的预测才是核心。

只扰动教师,已经能拿回约九成收益

在 135M、三种子的噪声消融里:

扰动位置 学生输入 教师目标来源 相对标准蒸馏
两侧同时扰动 扰动文本 同一扰动文本 -0.0153 nats
只扰动教师 干净文本 扰动文本 -0.0137 nats
只扰动学生 扰动文本 干净文本 -0.0050 nats

只扰动教师拿回约 90% 的两侧扰动收益;只扰动学生只剩约三分之一,而且与普通无教师增强的收益已经接近。两个单侧效果大致可加,但不是严格线性。

这组结果真的挺漂亮。它把“数据增强”和“教师监督增强”拆开了:前者主要改变学生的鲁棒性,后者改变学生要学习的函数值。论文的证据明显更支持后者。

不是软一点,也不是弱一点

扰动后教师不确定性确实上升。\(\sigma=0.4\) 时,教师预测熵从 1.97 增至 2.46 nats。但把干净输入上的教师标签用温度或 label smoothing 调到相同熵,最多只改善 0.003 nats;更强温度没有收益。

早期换一个更弱的教师也不复现结果。无论用教师早期 checkpoint、SmolLM2-360M,还是损失接近扰动教师的 SmolLM2-135M,最终都落在标准蒸馏上下 0.003 nats 内。

所以,收益不能简化成“标签更平滑”或“课程先易后难”。输入扰动与教师输出之间的关系必须真的发生变化。

相邻混合不是靠多读一倍文本占便宜

为消除额外文本 exposure,作者让 adjacent blend 只使用基线在该阶段读到的原始 token,把这些 token 压进一半的位置。这个控制组改善 0.028 nats,略高于常规相邻混合的 0.025 nats。

另一个重叠混合版本反而差 0.008 nats,但它会把待预测 token 的一部分放进当前输入,任务本身也变了,不能当作同等干净的控制。总体而言,“多读文本”解释不了主要收益。


机制探针:随机性本身似乎有用,但结论还没钉死

图7:共享噪声与教师目标平均的机制探针

图 7:教师和学生使用同一份噪声时改善 0.0153 nats,独立采样时改善 0.0168 nats;教师侧单次采样的收益大于四次预测取平均。黑点代表不同初始化种子。

教师和学生是否共享同一份噪声并不重要,独立采样甚至略好。进一步测量发现,学生下一 token 分布对扰动方向的响应,与教师响应的相关性最多只有约 0.03。学生并没有显式学会教师的局部导数,因此它不属于 Jacobian matching 那一类方法。

更有意思的是,把四次噪声下的教师预测取平均,期望目标不变,收益却变小。图中教师侧单次采样为 -0.0137 nats,四次平均为 -0.0083 nats;论文在相同两个种子的直接比较中报告 -0.0122 与 -0.0076 nats。

作者给出的解释是:不断变化的教师目标,让预测中那些细粒度、不稳定的细节更难被学生精确记住,学生于是更多学习跨扰动保持稳定的模式。这个直觉合理,但说实话,目前仍是机制假设,不是完整理论。附录差异与种子间波动接近,作者自己也只把它视为指示性证据。


数据受限:重复 16 轮后,调强 weight decay 仍有收益

数据不够、同一语料要训练很多轮时,输入扰动常被当作正则化手段。不过这种场景很容易得到虚假的大收益:如果基线 weight decay 没调好,任何扰动都可能显得特别厉害。

论文把 135M 的 4.2B-token 预算改成对 262M 唯一 token 重复 16 个 epoch,并扫描 AdamW weight decay。标准蒸馏的最佳值从默认 0.1 调到 1.0 后,基线自身就改善 0.033 nats。

图5:数据受限下的噪声蒸馏

图 5a:weight decay 增大到 1.0 时,标准蒸馏和噪声蒸馏都变好;图 5b:有教师的噪声收益明显大于无教师噪声。调到最佳 weight decay 后,有教师收益仍约为 0.020 至 0.023 nats。

135M,16 epochs 标准蒸馏 加 token noise 噪声带来的改善
Weight decay 0.1 3.2016 3.1693 0.0323 nats
Weight decay 0.3 3.1812 3.1510 0.0302 nats
Weight decay 1.0,种子 1 3.1682 3.1448 0.0234 nats
Weight decay 1.0,种子 2 3.1693 3.1490 0.0203 nats

默认 weight decay 下 0.032 nats 的大收益,有一部分确实能被基线调参吃掉;但在最佳 weight decay 1.0 上,收益仍稳定存在。无教师噪声在这里只改善约 0.008 nats,教师让收益扩大到约 2.6 倍。

新鲜数据、weight decay 1.0 时,噪声也改善 0.020 nats。相邻混合在单次数据受限运行中改善 0.035 nats。至少从 135M 的证据看,这不是只在“基线欠正则化”时才出现的技巧。


量化与下游:不是只把验证 loss 做得好看

低比特权重量化后,优势仍在

论文在 0.5B 学生上比较 RTN、GPTQ 和 AWQ,除输出头外的线性层都量化,激活保持 16 bit。下表数字是量化造成的验证损失增量,越小越好;full precision 是量化前损失。

方法 Full precision INT4 RTN INT4 GPTQ INT4 AWQ INT3 RTN INT3 GPTQ INT3 AWQ
标准 KD 2.6782 0.205 0.028 0.019 6.226 0.160 0.099
Noise,\(\sigma=0.75\) 2.6642 0.317 0.027 0.019 5.623 0.117 0.097
Parallel,\(\lambda=0.5\) 2.6660 0.161 0.024 0.020 1.480 0.123 0.099
Adjacent,\(\lambda=0.5\) 2.6579 0.113 0.024 0.019 1.203 0.120 0.098

GPTQ 和 AWQ 的 INT4 结果比较整齐:扰动学生量化后仍保有优势。RTN 则更分裂,noise 在 INT4 下损伤更大,两种 blend 的损伤更小。

最抓眼的是 INT3 RTN:标准 KD 损失增加 6.226 nats,两种 blend 只增加 1.480 和 1.203 nats。作者把一部分原因追溯到权重分布:标准 KD 和 noise 的线性层权重平均超额峰度约为 0.5,两种 blend 约为 0.14。更平坦的权重分布对逐组舍入更友好。

但别把这个数字外推成“扰动蒸馏解决 INT3 量化”。一旦使用 GPTQ 或 AWQ,差距就小很多;而且激活统计并未表现出同样明显的差异。它更像一个有趣且可能很有用的附带性质,不是普遍的量化保证。

七项零样本任务,0.5B 平均提高约 1.1 个点

规模与方法 HellaSwag ARC-E ARC-C PIQA Wino. LAMBADA SciQ 平均分 相对标准 KD
0.5B 标准 KD 45.0 57.9 29.0 68.0 52.7 37.5 77.3 52.5 —
0.5B Noise 45.7 56.8 30.5 68.8 52.8 39.1 81.3 53.6 +1.1 ± 0.4
0.5B Parallel 45.5 58.1 30.3 68.3 54.1 36.7 77.5 52.9 +0.5 ± 0.3
0.5B Adjacent 45.9 58.0 30.6 69.7 53.4 36.3 80.9 53.5 +1.1 ± 0.3
135M 标准 KD 30.1 44.4 25.2 60.1 52.3 21.3 64.0 42.5 —
135M Noise 30.4 45.4 24.5 61.3 50.2 22.6 65.1 42.8 +0.3 ± 0.3
135M Parallel 30.5 46.1 25.1 60.3 50.0 22.1 62.6 42.4 -0.1 ± 0.4
135M Adjacent 30.4 46.8 25.3 60.9 50.8 22.3 65.1 43.1 +0.6 ± 0.3

0.5B 上,noise 和 adjacent 的平均提升都来自若干任务共同贡献,其中 SciQ 约涨 4 个点,HellaSwag 约涨 1 个点;两种 blend 在 LAMBADA 上又各丢约 1 个点。它不是全任务无差别上涨。

135M 的平均差异最多 0.6 个点,而且若干误差条已经覆盖零。我的读法是:下游迁移有积极信号,但目前最强、最稳定的证据仍是验证损失,不宜把七任务平均提升讲成已经坐实的通用能力跃升。


放到已有工作里,它到底新在哪里

路线 改变什么 教师在哪里提供监督 与这篇工作的关系
标准在线 KD 用教师分布替代硬标签 原始训练文本 直接基线
学生侧数据增强 掩码、替换或扰动学生输入 仍来自干净文本或原始 token 只能拿回少量收益
MiniPLM 按教师与参考模型差异筛选预训练数据 通过离线数据分布间接蒸馏 改数据选择,不改同一输入上的 KD 目标
On-policy 或 reverse-KL 蒸馏 改采样分布或散度 通常在学生采样或既定文本上 改训练目标,这篇保留 forward KL
扰动输入蒸馏 改教师与学生早期读取的输入 扰动文本上的即时教师预测 不改损失项和训练步数

任务特定蒸馏和视觉训练里,“教师给增强输入贴标签”并不新;Noisy Student 这类方法也早就研究过教师与学生看到不同视图。论文自己的相关工作中也明确连接到 Jacobian/Sobolev 训练、Mixup 和增强蒸馏。

所以我不觉得它靠“扰动”三个字构成底层发明。真正的贡献是把这件事放进从零开始的语言模型预训练,严格控制 token 预算和数据顺序,再用教师侧、学生侧消融说明:在预训练蒸馏里,查询教师的输入分布本身是一个值得优化的维度。

同期的数据受限预训练研究也显示,随机替换 15% token 能缓解多轮训练过拟合。这篇论文在附录中复现了相关思路,但得到一个很能说明问题的对照:

图6:随机 token 替换与 token noise 对比

图 6:随机替换只给学生时改善 0.0125 nats,教师和学生同时替换只改善 0.0026 nats,无教师时略有负收益;保留原 token 的 token noise 在同一种子上改善 0.0193 nats。不同扰动不能混为一谈。

随机替换会删掉原 token,教师面对的是另一段文本;论文的噪声和混合仍保留原 token 权重。这可能解释了为什么“两侧都随机替换”表现较差。 augmentation 的具体语义,比“有没有加噪”更重要。


我的判断:简单、可复用,但规模与机制仍是两道坎

这篇论文让我满意的地方有三点。

改动足够小。 相对标准在线 KD,没有新增教师前向次数,也没有增加训练步数;只是前 15% 至 50% 的步骤先构造扰动输入,之后再切回干净文本。对已有在线蒸馏流水线来说,工程侵入性很低。

消融问到了点子上。 教师侧约九成、学生侧约三分之一,软标签与弱教师都无法复现,共享噪声也不是必要条件。这几组实验把一个宽泛的“增强有用”收窄成了更具体的“教师在扰动处的监督有用”。

评估没有停在主 loss。 数据重复、调优 weight decay、低比特量化、七项零样本任务都覆盖了。虽然并非每项都强,但至少没有只挑最漂亮的数字讲。

问题也同样清楚。

规模只到 135M 和 0.5B,训练量只到 4.2B 和 10B token。更大模型、更长训练、不同教师学生差距下,甜点位是否还存在,论文没有答案。多数网格点只有一个种子,小差异不应过度解读。噪声强度和混合比例需要扫参,而扫参会增加真实的模型选择成本。机制解释也还偏试探性,四次目标平均的实验给出线索,却没有完全说明学生究竟学到了哪些更稳定的结构。

还有一个成本口径要分清:训练步数与教师前向次数不增加,不等于整个数据管线完全没有额外工作。扰动构造、两篇文档的读取、相邻混合阶段更长的原始序列采样,都需要实现与计量。相邻混合的控制实验已经说明额外文本不是主因,但工程部署时仍应把数据吞吐和缓存成本算进去。

如果你要复现,我会这样做

前 30% 训练:
    构造 adjacent blend,先试 lambda = 0.5 或 0.8
    teacher_logits = teacher(perturbed_input)
    student_logits = student(perturbed_input)
    loss = forward_KL(teacher_logits, student_logits)

后 70% 训练:
    恢复干净输入,其余蒸馏设置完全不变

保留:
    相同初始化、相同数据顺序的标准 KD 基线
    只扰动教师、只扰动学生两个小规模消融
    至少 3 个初始化种子,再判断小幅提升

如果从噪声开始,别直接照搬 \(\sigma=0.4\) 或 0.75。先监控扰动后的教师损失与预测熵,寻找“教师输出已经变化,但还没有失去监督质量”的区间,再做小网格。阶段长度应与扰动强度一起调:相邻混合可从 30% 起步,parallel blend 更保守,从 15% 起步。

我最想继续看的实验,是只扰动教师、学生始终读干净输入的版本能否在更大规模上保留九成收益。如果可以,这条路线甚至可能减少学生早期面对的分布偏移,同时保留教师监督扰动带来的好处。当然,这只是基于当前消融的猜想,不是论文已经证明的结论。

回到最初的问题:标准蒸馏是否已经把教师利用得很充分?至少在两个小规模设置里,答案是否定的。教师不只是一个给原始语料打软标签的机器,它还可以被主动查询训练文本之外的行为。怎么设计那些查询输入,让它们既含新信息又不破坏监督质量,可能才是这条方向真正的研究空间。


参考资料

觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我