SFT 之后汕头pvc排水管专用胶水，直接上强化学习就够了吗？

小心，你做的可能不是"训练"，而是"还债"。

在多模态大模型（MLLM）的后训练中，行业内长期遵循着个看似天经地义的范式：先 SFT，再 RL，两步到位。

从 DeepSeek 到 Qwen，从 GRPO 到 DAPO，大拼命优化 RL 法的稳定、采样率、励设计……却几乎没人回头看眼：

SFT 到 RL 之间，是不是少了点什么？

但来自香港科技大学（广州）、南洋理工大学、清华大学等机构的新研究 Beyond SFT-to-RL ( PRISM ) 给出了个令人不安的发现：

SFT 不仅没有为 RL 铺好路，反而在悄悄挖坑。

被忽视的"隐形断层"：SFT 到底做了什么？

先看组比较有意思的数据（7 个主流多模态 benchmark 的平均准确率）：

阶段

Qwen3-VL-4B

Qwen3-VL-8B

原始 Instruct 模型

59.7

63.3

SFT 之后

56.8 ( -3.0 )

58.1 ( -5.2 )

SFT → GRPO

61.8

可以看到汕头pvc排水管专用胶水，SFT 之后，模型能反而下降了。

8B 模型要为明显点：SFT 掉了 5.2 个点，辛辛苦苦做完强化学习，才刚刚爬回基线 ( baseline ) 的水平（63.3 → 58.1 → 63.3）。

也就是说，你的 RL 可能直在"还债"，而不是在"提升"。

而且这不是个例。

在当下主流的强 Instruct 模型上（Qwen3-VL 等），只要 SFT 数据带入个与基座不致的新分布（比如目前常见的 GPT/Gemini 蒸馏数据）几乎都会观察到类似的掉点。

原因很直接：这类基座已经经过大规模、精细的后训练，能力本就处于个相对稳定的位。

SFT 逼着模型去模仿套新分布，结果就是用个"窄"的分布去覆盖个"广"的能力，旧能力被冲掉、新能力又没真正学到。

换句话说，模型越强、越接近实际部署的水平，SFT 引入的分布偏移就越成为 RL 之前道绕不开的"暗坑"。

这恰恰是 PRISM 须存在的理由。

这背后的核心问题，是后训练里早已被反复讨论的分布漂移（Distributional Drift）。

但在多模态场景下，它有套隐蔽、也难的表现形式。

问题根源：SFT 引入的两类偏差

SFT 在多模态场景下，会引入两类容易被忽视的偏差：

偏差：表面模仿—— token loss 把过程和结果同权处理

SFT 的优化目标是在均匀的 token loss 下模仿演示轨迹。

它不区分"过程"和"结果"：对模型来说，正确的理步骤和格式化的模板套话，权重是样的。

结果就是模型学会了"长得像"正确答案，而不是"想得出"正确答案。 它学到的是表面模式，而非忠实的理能力。

偏差二：感知漂移与理漂移在同个 loss 里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同，多模态模型的漂移不是单的，而是两种定不同的失败模式在同时发生：

感知漂移：视觉定位出错，模型"看错了"

理漂移：逻辑失败，模型"想歪了"

这两种漂移的成因不同、纠正式不同汕头pvc排水管专用胶水，但 SFT 用同个 token loss 把它们起拟。

而当 RL 阶段时，模型已经在感知和理两端同时偏移，即个"既看不准、又想不对"的模型。

现有 RL 法为什么救不了？

从 GRPO，到 DAPO，再到 GSPO，RL 法这段时间确实直在进步。

但它们解决的是RL 阶段内部的问题：采样率、梯度差、策略崩溃。没有任何个 RL 法回头去修复 SFT 留下的分布偏差。

这里举个不太恰当的例子：这里就好比你参加百米短跑，SFT 不仅没有让你往前走，反而把你向后了 50 米。

现有的 RL 法都在研究怎么跑得快，但起点还在坑里，而 PRISM 要做的，就是在 SFT 和 RL 之间补上这步，不仅把你拉回起跑线，还顺势往前把，让 RL 只用跑 50 米就能冲线。

PRISM 的核心案：三阶段流水线 ( Pipeline )

PRISM 破了传统的两阶段范式，提出了SFT → 分布对齐 ( PRISM ) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混判别器（MoE Discriminator）

感知漂移和理漂移是两类成因不同的偏差，需要分开处理。

PRISM 为此设计了个混判别器，由两个门化的组成：

感知 D_v：门评估视觉描述，万能胶厂家测量模型的输出是否忠实于图像内容，解决感知漂移

理 D_r：门评估理轨迹，测量逻辑是否致有，解决理漂移

终判别得分为两者的加权组：

r ( x,y ) = α · D_v ( x,c ) + ( 1- α ) · D_r ( x,t )

这种设计的好处是提供解耦的纠正信号，避将两种不同的误差模式塞进个标量里，致梯度信号变得嘈杂。

黑盒蒸馏：不需要教师 logits

PRISM 的另个优雅之处在于：它是黑盒的。

很多蒸馏法需要访问教师模型的 logits（内部概率分布）汕头pvc排水管专用胶水，这意味着你得有教师模型的完整权重。

但在实际场景中，强的模型往往只提供 API，你只能看到输出，看不到内部状态。

PRISM 在响应别工作：从强模型（Gemini 3 Flash）采集质量输出作为正样本，从当前策略采样作为负样本，通过对抗博弈来对齐分布。

只要能调 API，就能用 PRISM。

个重要的设计决策：去掉 KL 正则化

传统 RL 训练通常会加个 KL 散度约束，止策略偏离初始模型太远。但 PRISM 有意识地去掉了这个约束。

道理很简单，对齐阶段的目的，就是纠正 SFT 带来的分布偏差。再加个把策略拉回 SFT 分布的 KL 约束，本身就和这个目标相互矛盾。

分布演变：对齐真的把模型拉回到好的起始点

下图直观地展示了分布的演变过程：从 Base 到 Post-SFT 再到 Post-Alignment，论是理步数还是视觉描述项数的分布，都在逐步向监督数据靠拢：

可以清晰看到：Post-SFT（蓝线）与 Supervision（黑线）仍有明显偏差，而 Post-Alignment（橙线）则大幅缩小了这差距，且这种改进在 Post-RLVR（绿线）阶段得以保持。

实验验证

在 Qwen3-VL 的 4B 和 8B 两个规模上，PRISM 搭配GRPO/DAPO/GSPO三种主流 RL 法，在4 个数学理基准（MathVista、MathVerse、MathVision、WeMath）和3 个通用多模态基准（MMMU、MMMU-Pro、HallusionBench）上验证了有。

下表是论文 Table 1 的主结果（灰行为 PRISM）：

从主表里能读出几个值得展开的信号：

( 1 ) 模型越强，PRISM 的增益越大：8B 拿到 +6.0 的平均提升，4B 为 +4.4，强的基座被 SFT "伤害"得，也因此从对齐中受益多；

( 2 ) PRISM 在大多数子基准上拿到了同基座下的佳分数（表中加粗），覆盖数学理与通用视觉理解两类任务，这意味着对齐带来的不是某个域的局部增益，而是分布层面的全局校准。

消融实验：每步都不可或缺

从消融表（论文 Table 2）里能直接读出每个组件的贡献：

奥力斯    泡沫板橡塑板专用胶报价    联系人：王经理    手机：18232851235（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区

( 1 )  去掉 SFT 阶段直接掉 16.8 个点，说明 SFT 作为"冷启动"仍不可替代，PRISM 不是要取代 SFT，而是修复它带来的作用；

( 2 ) 去掉对齐阶段掉 4.4 个点，与 4B 主表的提升幅度对应，是分布对齐果的直接证据；

( 3 ) 单个 4B 判别器替代 MoE 掉 3.4，仅文本判别器掉 3.9。

后者尤为有趣：没有视觉感知的判别器只能捕捉表面模式（格式、模板、风格），致策略学会了"鹦鹉学舌式对齐"，听起来像监督数据，但实际上看不到所描述的内容。

结语

PRISM 的出现，给多模态大模型的后训练范式上了个"补丁"，但这个补丁可能比主程序还重要。

SFT 和 RL 之间不是缝衔接，而是存在道被长期忽略的分布断层。RL 法再强，如果起点就歪了，跑得越快只会偏得越远。

让多模态大模型在理任务上再进步，未要靠复杂的 RL 法或多训练数据。

把 SFT 和 RL 之间这步对齐补上，模型自然会跑得稳。

Arxiv：https://arxiv.org/abs/2604.28123

Github：https://github.com/XIAO4579/PRISM

作详询：swang886@connect.hkust-gz.edu.cn

键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘名眼疾手快、关注 AI 的学术编辑实习生  � �

感兴趣的小伙伴欢迎关注 � �  了解详情

� � 点亮星标 � �

科技前沿进展每日见

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述汕头pvc排水管专用胶水，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。