腾讯混元开源了端到端推测解码框架 AngelSpec,在 Hy3-A21B 上实现 1.98-2.40 倍端到端加速
腾讯混元开源了端到端推测解码框架 AngelSpec,在 Hy3-A21B 上实现 1.98-2.40 倍端到端加速。
腾讯混元开源了端到端推测解码框架AngelSpec,支持训练和部署。在Hy3-A21B模型上,并发数4-64时,DFly实现1.98-2.40倍端到端加速,吞吐量比DFlash高10.5-11.8%。开发者可获取训练代码和drafter权重,便于复现和进一步研究。 核心观点: 1. AngelSpec在Hy3-A21B上实现1.98-2.40倍端到端加速(并发4-64)。 2. AngelSpec吞吐量比DFlash高10.5-11.8%。
推荐理由常规版本更新,跟进即可