精选理由
做推理加速的可以试试这个端到端推测解码框架,腾讯开源了完整代码和权重,在 Hy3 上提速近 2.4 倍且吞吐更高,拿来即用。
AI 摘要
腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 10.5–11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。
正文 · AI 翻译
🚀 我们已开源 AngelSpec,这是一个支持训练与部署的端到端推测解码框架。
在 Hy3-A21B 上,DFly 在 4 到 64 的测试并发度范围内,相比自回归解码实现了 1.98–2.40 倍的端到端加速,吞吐量比 DFlash 高出 10.5–11.8%。
训练代码以及 Hy3-A21B MTP/DFly 草稿模型权重现已开放: GitHub:https://github.com/Tencent/AngelSpec 论文:https://arxiv.org/abs/2607.25852 文档:https://angelspec.readthedocs.io Hugging Face:https://huggingface.co/collections/AngelSlim/angelspec ModelScope:https://modelscope.cn/collections/AngelSlim/AngelSpec #Hy3 #AngelSpec #开源
原文
Original Title
🚀 We've open-sourced AngelSpec, an end-to-end speculative decoding framework supporting both traini…
Source
Tencent Hy (@TencentHunyuan)
Site
x.com
Published
2026-07-29 20:43