返回 AI 情报
技巧2026-10-02T21:09:34.000ZBaseten 工程博客
Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%
Agentic inference optimization: 50-90% faster engines
AI 摘要
Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4，单张 B200）自动构建推理引擎 VibeQwen，单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。
正文 · AI 翻译
发生了什么
Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4，单张 B200）自动构建推理引擎 VibeQwen，单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。
为什么值得关注
这类技巧内容适合结合自己的使用场景尝试，重点看它是否能稳定提升效率或降低操作成本。
小黑丸怎么看
对普通用户来说，最重要的是判断这条变化会不会影响账号使用、订阅选择、工具效率或后续购买决策；对开发者和运营来说，则要关注它是否带来新的产品机会或风险信号。
原文
Original Title
Agentic inference optimization: 50-90% faster engines
Source
Baseten 工程博客
Site
baseten.co
Published
2026-10-02T21:09:34.000Z