王理 天翼云技术经理 联系我
菜单

作品 / 从能跑通，到能对外运营

多租户网关 · 配额 · SLA · 监控

16 卡 Token 服务

两台 910B 服务器上的 9 个模型，做成兼容 OpenAI 接口、带租户、配额、限流和监控的对外服务。

  • 1620 / 0请求 / 失败

    96 并发 10 分钟

  • 2.14×

    MTP 单路加速

  • 85.3%

    前缀缓存命中

  • 6–35ms

    网关额外延迟

  • 438页/分钟

    OCR 吞吐

  • 192路

    承诺并发

问题

模型能跑，不等于能卖。对外服务要回答的是：谁能调、调多少、慢了怎么办、坏了多久恢复。

做法

  • 同一套卡上部署 9 个模型：对话、长上下文、向量、重排、OCR、语音识别。
  • 用多租户网关统一出口，兼容 OpenAI 的 Chat 和 Responses 接口；三档 SLA 限流，加月度和周度配额。
  • 交付按 G0–G9 十道关卡推进，每道关卡都有压测证据。
  • vLLM 与 SGLang 做了 A/B，用数据选了 vLLM；W8A8 量化实测没有可见的精度损失。

数字

96 并发连续压测 10 分钟，1620 个请求零失败。前缀缓存命中 85.3%，热请求比冷请求快 5.1 倍。网关只多花 6–35 ms。

教训

踩过的坑写成了编号清单，大约 85 条。比方案文档更值钱的，是这份清单。