为什么值得读
PD 分离已经是主流部署形态,但多数团队只调调度器和并行策略,把网络当成常量。这篇说明 KV 传输在「流级」而非「包级」竞争带宽,优化对象是路径选择而不是协议栈——成本比换交换机低得多。
场景:KV 传输不是普通请求,是大象流
分离式推理把 prefill 和 decode 拆到不同 GPU 池,随之产生大量 KV 缓存搬运。这些传输持续几百毫秒到数秒,在链路上表现为「超级大象流」,主导带宽利用率。
在这个区间里,无状态 ECMP 的表现可能很差:哈希碰撞会把两条并发流映射到同一根 spine,一根链路打满、其余链路空转,传输时间被拉长数秒。
方法:正因为流够长,一次协调就能摊薄成本
论文的观察是同一枚硬币的两面:流持久 → 容易被碰撞伤到,也 → 协调成本可以被摊薄。据此提出 ARK,一个分布式的「大象流路径预留」机制。
ARK 让发送端互相协调,选择那些哈希后会落到不同 spine 的源端口。关键工程约束是:不需要改交换机,也不需要在接收端做包重排序。这决定了它能在现网部署,而不是只能在仿真里成立。
结果:包级 RDMA 仿真里的 FCT 与 TTFT 收益
在包级 RDMA 仿真中,中等负载下 ARK 把平均 FCT 与 P95 FCT 最多降低 27.3% 与 34.0%,并进一步把平均 TTFT 最多降低 12.9%。
P95 的降幅大于均值,说明收益主要来自消除长尾——这与「碰撞导致个别流被拉长数秒」的机理一致。对在线服务来说,长尾抖动往往比均值更影响 SLO。
适用边界
收益依赖网络拓扑的对称性(多根 spine)与并发大象流的数量;单 spine 或极小规模部署里没有可分配的路径,机制退化为无效。
结论来自包级 RDMA 仿真,不是生产集群实测;真实环境里的交换机缓冲、PFC/拥塞控制交互都需要单独验证。
本站仅据 arXiv 摘要页(E1)整理,未复现;全部定量结论来自包级 RDMA 仿真,无生产集群数据;收益依赖多 spine 对称拓扑与并发流规模,小规模部署可能无感;摘要页检索未发现代码仓库链接,工程落地需自行实现协调逻辑。
本文基于论文原文摘要与方法章节整理,观点由编辑撰写;如与原文有出入,以 arXiv 原文为准。 内容为信息整理与技术评论,不构成投资或决策建议。 发现错误请通过站内纠错页提交(记录可查),修订记录只增不删。