# Fireworks AI 在 Blackwell 上为 MiniMax M3 模型设计了 KV-stationary 稀疏注意力内核，实现 B200 上约 980 TFLOP/s 的吞吐量

- 来源：MiniMax
- 发布时间：2026-07-11 07:52
- AIWatch 分数：69
- AIWatch 标记：当日精选
- AIWatch 链接：https://aiwatch.icu/events/evt_01kx7768ptenx22ebhcvc2p2xq
- 原文链接：https://x.com/MiniMax_AI/status/2075729989987959091

## 精选理由

高信息密度，值得细读

## AI 摘要

Fireworks AI 针对 MiniMax M3 模型在 NVIDIA Blackwell 架构上设计了一种 KV-stationary 稀疏注意力内核。该内核通过将每个选定的 KV 块仅读取一次，解决了稀疏注意力中数据依赖块选择破坏内存访问速度的问题，在 B200 GPU 上实现了约 980 TFLOP/s 的吞吐量。这一优化对需要长上下文稀疏注意力的开发者具有重要参考价值。
核心观点：
1. Fireworks AI 为 MiniMax M3 模型在 Blackwell 上设计的稀疏注意力内核采用 KV-stationary 设计，每个选定块仅读取一次。
2. 该内核在 B200 GPU 上达到约 980 TFLOP/s 的吞吐量。

## 正文

@FireworksAI_HQ new M3 kernel on Blackwell uses a KV-stationary design to read each selected block once, reaching ~980 TFLOP/s on a B200.

Read the full breakdown below for a closer look at the kernel design and optimizations. 👇

Fireworks AI: Long-context sparse attention has a catch: data-dependent block selection wrecks memory access kills speed.

Our @MiniMax_AI M3 kernel on Blackwell answers it. KV-stationary, each block read once, ~980 TFLOP/s on a B200.

See the breakdown here →
https://fireworks.ai/blog/kernel-optimization-for-minimax-m3-on-nvidia-blackwell