返回 AI 情报
产品精选 742026-07-29 20:43Tencent Hy (@TencentHunyuan)

腾讯混元开源 AngelSpec 投机解码框架

🚀 We've open-sourced AngelSpec, an end-to-end speculative decoding framework supporting both traini…

精选理由

做推理加速的可以试试这个端到端推测解码框架,腾讯开源了完整代码和权重,在 Hy3 上提速近 2.4 倍且吞吐更高,拿来即用。

AI 摘要

腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98–2.40 倍端到端加速,吞吐量比 DFlash 高 10.5–11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。

正文 · AI 翻译

🚀 我们已开源 AngelSpec,这是一个支持训练与部署的端到端推测解码框架。

在 Hy3-A21B 上,DFly 在 4 到 64 的测试并发度范围内,相比自回归解码实现了 1.98–2.40 倍的端到端加速,吞吐量比 DFlash 高出 10.5–11.8%。

训练代码以及 Hy3-A21B MTP/DFly 草稿模型权重现已开放: GitHub:https://github.com/Tencent/AngelSpec 论文:https://arxiv.org/abs/2607.25852 文档:https://angelspec.readthedocs.io Hugging Face:https://huggingface.co/collections/AngelSlim/angelspec ModelScope:https://modelscope.cn/collections/AngelSlim/AngelSpec #Hy3 #AngelSpec #开源

原文

Original Title

🚀 We've open-sourced AngelSpec, an end-to-end speculative decoding framework supporting both traini…

Source

Tencent Hy (@TencentHunyuan)

Site

x.com

Published

2026-07-29 20:43

阅读原文· x.com

继续阅读