Tencent HunyuanTencent Hy当日精选
腾讯混元开源了端到端推测解码框架 AngelSpec，在 Hy3-A21B 上实现 1.98-2.40 倍端到端加速
AI 摘要
腾讯混元开源了端到端推测解码框架AngelSpec，支持训练和部署。在Hy3-A21B模型上，并发数4-64时，DFly实现1.98-2.40倍端到端加速，吞吐量比DFlash高10.5-11.8%。开发者可获取训练代码和drafter权重，便于复现和进一步研究。 核心观点： 1. AngelSpec在Hy3-A21B上实现1.98-2.40倍端到端加速（并发4-64）。 2. AngelSpec吞吐量比DFlash高10.5-11.8%。
推荐理由高信息密度，值得细读
原文
无法获取正文，可打开下方原始链接查看。
推测解码开源腾讯混元端到端加速AngelSpecHy3-A21BDFlyDFlash74/100
讨论
暂无评论。