首页开源项目论文解读归档收藏关于译匠
首页/ 论文解读/ 2610.41160

分离式推理的 KV 缓存传输:ECMP 哈希把两条大流塞进同一根 spine 之后

ARK: Avoiding Routing Collisions for KV Cache Transfer in Disaggregated LLM Inference

核心贡献 / TL;DR

分离式推理的 KV 缓存传输是持续数百毫秒到数秒的「大象流」,无状态 ECMP 哈希碰撞会让一根 spine 被打满而其余空闲。ARK 通过一次性协调选择源端口,让并发流的哈希落到不同 spine,模拟中平均/P95 FCT 最多降 27.3%/34.0%。

◐ 可读 最小体检 译匠 · 2026-11-02 复核

分离式推理的 KV 缓存传输是持续数百毫秒到数秒的「大象流」,无状态 ECMP 哈希碰撞会让一根 spine 被打满而其余空闲。ARK 通过一次性协调选择源端口,让并发流的哈希落到

⚠ 红线标注:截至 2026-11-02 摘要页未附开源代码链接。 来源 ↗

  • 核心结论与数字以摘要页原文为准:分离式推理的 KV 缓存传输是持续数百毫秒到数秒的「大象流」,无状态 ECMP 哈希碰撞会让一根 spine 被打满而其 E1 来源 ↗
  • 方法与实验细节以 PDF 全文为准 E1 来源 ↗
  • 摘要页未列出开源代码链接(截至快照日) E1 来源 ↗

最小体检 = 结论条 + 3 条 E1 证据 + 1 条红线判定;完整五维评估待 S1。 判定规则与纠错 →

为什么值得读

PD 分离已经是主流部署形态,但多数团队只调调度器和并行策略,把网络当成常量。这篇说明 KV 传输在「流级」而非「包级」竞争带宽,优化对象是路径选择而不是协议栈——成本比换交换机低得多。

场景:KV 传输不是普通请求,是大象流

分离式推理把 prefill 和 decode 拆到不同 GPU 池,随之产生大量 KV 缓存搬运。这些传输持续几百毫秒到数秒,在链路上表现为「超级大象流」,主导带宽利用率。

在这个区间里,无状态 ECMP 的表现可能很差:哈希碰撞会把两条并发流映射到同一根 spine,一根链路打满、其余链路空转,传输时间被拉长数秒。

方法:正因为流够长,一次协调就能摊薄成本

论文的观察是同一枚硬币的两面:流持久 → 容易被碰撞伤到,也 → 协调成本可以被摊薄。据此提出 ARK,一个分布式的「大象流路径预留」机制。

ARK 让发送端互相协调,选择那些哈希后会落到不同 spine 的源端口。关键工程约束是:不需要改交换机,也不需要在接收端做包重排序。这决定了它能在现网部署,而不是只能在仿真里成立。

结果:包级 RDMA 仿真里的 FCT 与 TTFT 收益

在包级 RDMA 仿真中,中等负载下 ARK 把平均 FCT 与 P95 FCT 最多降低 27.3% 与 34.0%,并进一步把平均 TTFT 最多降低 12.9%。

P95 的降幅大于均值,说明收益主要来自消除长尾——这与「碰撞导致个别流被拉长数秒」的机理一致。对在线服务来说,长尾抖动往往比均值更影响 SLO。

适用边界

收益依赖网络拓扑的对称性(多根 spine)与并发大象流的数量;单 spine 或极小规模部署里没有可分配的路径,机制退化为无效。

结论来自包级 RDMA 仿真,不是生产集群实测;真实环境里的交换机缓冲、PFC/拥塞控制交互都需要单独验证。

局限与存疑

本站仅据 arXiv 摘要页(E1)整理,未复现;全部定量结论来自包级 RDMA 仿真,无生产集群数据;收益依赖多 spine 对称拓扑与并发流规模,小规模部署可能无感;摘要页检索未发现代码仓库链接,工程落地需自行实现协调逻辑。

标签:分离式推理KV 缓存数据中心网络推理服务

本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 内容为信息整理与技术评论,不构成投资或决策建议。 发现错误请通过站内纠错页提交(记录可查),修订记录只增不删。