Fireworks AI 在 Blackwell 上为 MiniMax M3 模型设计了 KV-stationary 稀疏注意力内核，实现 B200 上约 980 TFLOP/s 的吞吐量
AI 摘要
Fireworks AI 针对 MiniMax M3 模型在 NVIDIA Blackwell 架构上设计了一种 KV-stationary 稀疏注意力内核。该内核通过将每个选定的 KV 块仅读取一次，解决了稀疏注意力中数据依赖块选择破坏内存访问速度的问题，在 B200 GPU 上实现了约 980 TFLOP/s 的吞吐量。这一优化对需要长上下文稀疏注意力的开发者具有重要参考价值。 核心观点： 1. Fireworks AI 为 MiniMax M3 模型在 Blackwell 上设计的稀疏注意力内核采用 KV-stationary 设计，每个选定块仅读取一次。 2. 该内核在 B200 GPU 上达到约 980 TFLOP/s 的吞吐量。
推荐理由高信息密度，值得细读
原文
@FireworksAI_HQ new M3 kernel on Blackwell uses a KV-stationary design to read each selected block once, reaching ~980 TFLOP/s on a B200.
Read the full breakdown below for a closer look at the kernel design and optimizations. 👇
Fireworks AI: Long-context sparse attention has a catch: data-dependent block selection wrecks memory access kills speed.
Our @MiniMax_AI M3 kernel on Blackwell answers it. KV-stationary, each block read once, ~980 TFLOP/s on a B200.
See the breakdown here → https://fireworks.ai/blog/kernel-optimization-for-minimax-m3-on-nvidia-blackwell
金句
Sparse attention only matters if the systems can preserve the theoretical gains.
KV-stationary, each block read once, ~980 TFLOP/s on a B200.
讨论
暂无评论。