随着 AI Coding、Agent、Deep Research 等应用快速普及琼中橡塑胶厂家，模型单次处理的上下文长度正在从几万 Token 迈向几十万甚至百万 Token。

个看似"隐形"的瓶颈正悄然制约着理率——

KV Cache（键值缓存）的内存占用随序列长度线增长，不仅显存成本，直接限制了批量理的吞吐能力。

对此，百度百舸团队联复旦大学可信具身智能研究院，在长上下文理向取得重要进展。

相关成果《Predicting Future Utility: Global Combinatorial Optimization for Task-Agnostic KV Cache Eviction》被机器学习顶会ICML 2026录用。

联团队提出的 LU-KV 框架，在 80 KV Cache 压缩率下，相对能损失仅 0.52（以 Qwen2.5-32B 在 LongBench 的评测结果为例），在率–精度权衡曲线上达到新的 SOTA 水平。

为什么现有法会"看走眼"？

当前主流的 KV Cache 压缩案（如 SnapKV、KeyDiff、AdaKV 等）通常遵循个朴素假设：注意力分数的 Token 重要，应该优先保留。

这种"看当前分数大小"的策略在单头内部往往有，但当预需要在几十层、几百个注意力头之间分配时，问题就暴露了。

本工作发现，这种「看当前分数大小」的分配逻辑会忽略不同注意力头在长期语义信息保留能力上的差异，容易把缓存预分配给短期分数、但长期贡献有限的 Token，造成缓存预与长程信息价值之间的错配。

针对这问题，团队提出Long-horizon Utility KV（LU-KV）框架，将头 KV Cache 预分配建模为面向长程边际用的全局组优化问题。

LU-KV 的核心思路：用"投资回报率"思维重构缓存分配琼中橡塑胶厂家

既然核心瓶颈在于跨头预分配，LU-KV 具体如何运作？

团队并未在单头分器上做修补，而是构建了套从"理论标尺"到"全局优化"，再到"工程落地"的完整技术路径，大致拆解为三步。

步：立下"真标尺"——定义 Oracle Importance，量化认知偏差

要解决预错配，先得知道"什么才是真正的重要"。

LU-KV 提出 Oracle Importance（真实重要） 指标，将 Token 的重要定义为：

通过前瞻未来 K 步解码窗口，直接计每个 Token 能产生的大潜在贡献。

这把重要评估从"单步瞬时注意力"升为"长程前瞻用"。

有了这把标尺，团队次严格量化了现有启发式指标与真实重要之间的 "优差距（Optimality Gap）"，证明了盲目按瞬时分数分配预然致长期语义流失，也为后续的优化提供了明确的数学靶心。

二步：解"全局题"——凸包松弛 + 贪心策略，将非凸难题转化为求解

有了衡量偏差的标尺琼中橡塑胶厂家，预分配就不再是凭感觉"分蛋糕"，而是个明确的全局组优化问题：

如何在总预固定的约束下，让所有注意力头的长期信息保留总损失小？该问题本质上是 NP-hard 的非凸离散优化。

为此，团队引入凸包松弛（Convex-hull Relaxation）技术，将原本波动的损失曲线"熨平"为边际收益严格递减的平滑函数。

这数学变换使得复杂的组优化问题具备了单调，从而可以用基于边际用的全局贪心法快速逼近优解。

如下图所示，在凸包松弛下，原本 NP-hard 的非凸离散优化问题被转化为边际收益严格递减的平滑形式。

此时，采用全局贪心法求解所得的结果，与动态规划（DP）求解原始组优化问题的优解度吻。

换言之，系统能自动出：把下个 Token 的缓存配额分给哪个头，才能大化长程语义的保留收益。

三步：过"落地关"——离线画像 + 在线查表，泡沫板橡塑板专用胶让理论优实现开销部署

有了衡量偏差的标尺，预分配就不再是凭感觉"分蛋糕"，而是个明

理论上求出了优分配策略，但直接在线计 Oracle Importance 和实时优化，会带来不可接受的理延迟。

如何让法真正走向生产？团队抓住了大模型的个关键特：不同注意力头的全局 - 局部压缩率比例，在各类任务中呈现出度的结构稳定（如下图所示）。

基于这洞察，LU-KV 设计了数据驱动的离线 Profiling 协议：

在部署前，用成数据预计每个头在不同压缩率下的优预比例，生成张静态查找表。

在线理时，系统只需根据目标压缩率"查表"获取各头预，随即执行立驱逐。

从理论优化到工程实践，LU-KV 成功将复杂的在线计转化为 O ( 1 ) 的查表操作，实现了真正的开销部署。

值得提的是，LU-KV 并不替代底层的 Token 分法，而是作为通用的预分配层，可即插即用适配 SnapKV、KeyDiff 等多种压缩指标，具备良好的工程兼容与迁移能力。

实验数据：压缩 80，能几乎不折

团队在 Mistral-7B-Instruct-v0.3 和 Qwen2.532B-Instruct 中评价了该案，使用 Snapkv 和 KeyDiff 作为两种 KVCache 重要评价指标，与 PyramidKV，AdaKV 这类 Budget SOTA 分案进行了对比。对比结果如下：

LongBench 上：在 80 压缩率下，该法有小化了总体逐出损失，从而带来了显著的精度提升。

在 Mistral-7B-v0.3 模型上结 KeyDiff 法，该法将平均准确率从 40.54 ( AdaKV ) 提到 46.21，恢复了压缩模型与 Full-KV 上界之间 84 的能差距。

重要的是，这些提升在多个域（从摘要到成任务）中都很稳健，表明学习到的压缩分布成功捕捉了每个域的细微差别。

RULER 上：在端检索任务中，在 Mistral-7B-v0.3 模型上使用 SnapKV 指标，传统策略表现明显不佳：均匀压缩的平均准确率降至 29.53，AdaKV 也仅能小幅提升至 37.48。

相比之下，在相同的 80 压缩率下，该法实现了 69.98 的平均准确率。值得注意的是，在具有挑战的 multi-key-3 任务上，该法将能从 1.00（均匀压缩）提升至 67.40，显示出在保留稀疏但关键信息面的强大鲁棒。

多细节，请见 ICML 2026 论文或访问 GitHub 项目主页。

论文链接：https://icml.cc/virtual/2026/poster/65241

项目主页：https://github.com/baidu-baige/LU-KV

键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘名眼疾手快、关注 AI 的学术编辑实习生  � �

感兴趣的小伙伴欢迎关注 � �  了解详情

� � 点亮星标 � �

科技前沿进展每日见相关词条:玻璃棉毡     塑料挤出机     预应力钢绞线    铁皮保温    万能胶生产厂家

奥力斯    PVC管道管件粘结胶价格     联系人：王经理    手机：18231788377（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区/p>

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》琼中橡塑胶厂家，以此来变相勒索商家索要赔偿的违法恶意行为。