FlashMoBA 是什么？让块注意力在 GPU 上跑得飞快的内核
TL;DRFlashMoBA 是 MIT 和英伟达在 2025 年 11 月提出的硬件感知 CUDA 内核，高效实现块注意力混合（MoBA）这种长上下文稀疏注意力，在小块尺寸下比 FlashAttention-2 最多快 14.7 倍。
FlashMoBA 是一个为块注意力混合（MoBA）专门设计的高效 GPU 内核，由 MIT 和英伟达的研究人员在 2025 年 11 月提出，论文标题是《优化块注意力混合》（Optimizing Mixture of Block Attention）。
先说 MoBA
大模型处理长上下文时，标准注意力的计算量随文本长度平方增长，文本一长就非常昂贵。块注意力混合（MoBA）是月之暗面在 2025 年提出的一种稀疏注意力方案：把上下文切成一个个块，每个查询只挑选少数几个最相关的块去计算注意力，而不是和全部内容计算，从而大幅降低计算成本。它的思路类似混合专家（MoE），由一个路由器决定每个查询该去看哪些块。
这篇论文做了两件事
第一，搞清楚 MoBA 为什么有效、怎样配置最好。论文指出，MoBA 的设计原则此前并没有被很好地理解。研究者建立了一个统计模型来分析它的内在机制，发现性能关键取决于路由器能否准确地区分相关的块和不相关的块。分析还表明，使用更小的块尺寸，理论上能让路由更准确、效果更好。
第二，让小块尺寸在硬件上真正跑得快。问题在于，小块意味着更多、更零碎的计算，在 GPU 上效率很低，原有的实现在这种配置下根本不实用。FlashMoBA 是一个感知硬件特性的 CUDA 内核，借鉴了 FlashAttention 的技术，并针对块稀疏性加入了新的优化，即使在理论上推荐的小块尺寸下，也能高效执行 MoBA。论文报告，它比 FlashAttention-2 最多快 14.7 倍。
意义
这项工作把稀疏注意力的“理论最优配置”变成了可以实际部署的方案。对于需要处理超长文档、长对话历史和大型代码库的大模型来说，高效的稀疏注意力内核是降低成本、提升速度的关键基础设施。