王理 天翼云技术经理 联系我
菜单

作品 / 把国产卡跑满

推理集群 · 调优 · 根因分析

32 张 910B 上的 DeepSeek

4 台 Atlas 800T、32 张昇腾 910B，把 DeepSeek 的单路速度从 21 tok/s 推到 53 tok/s，并让 1M token 上下文真正跑通。

  • 49–53tok/s

    单路解码速度 · 之前 20.8–26.6

  • 1.13Mtoken

    单引擎 KV 池 · 之前 652K

  • 449tok/s

    16 并发吞吐

  • 69.5GB/s

    跨节点 all_reduce

问题

目标很简单：单路 50 tok/s，上下文要能到 1M。现实是，集群能启动，但速度只有二十出头，而且"时快时慢"。

做法

  • 并行策略按 DP4×TP8 加专家并行（EP）规划，先用 RoCE 实测确认跨节点带宽不是瓶颈。
  • 引入投机解码，把单路速度推过 50 tok/s 的目标线。
  • 重新计算显存账，把单引擎 KV 池从 652K 扩到 1.13M token，第一个真实的 1M token 请求实测通过。
  • 需要换模型时，在 10 分钟窗口内切到 V4.1-Flash W8A8。

最难的一次

"时快时慢"排查了网络、存储、调度在内的 8 类原因，最后定位到 DP+EP 锁步：一个数据并行组慢了，所有组都要等它。 不是网络故障，也不是服务故障，是并行结构本身的性质。

留下的东西

17 份编号报告，以及一份可复用的部署手册。所有结论都能追溯到原始日志。