FlashAttention

大语言模型 25.2k 3.2k C++ 上架 2026-11-08 在 GitHub 打开

FlashAttention：具有 IO 感知能力的快速且内存高效的精确注意力机制 FlashAttention-2：更快的注意力机制，更好的并行性和工作划分 FlashAttention-3 针对 ...

#机器学习/深度学习

项目信息

所有者: Dao-AILab
Star: 25.2k
Fork: 3.2k
开源协议: —
主要语言: C++
发布时间: 2022-05-19
最近更新: 2026-10-29

项目更新

fa4-v4.0.0.beta37预发布2026-10-28
fa4-v4.0.0.beta37 修了一批数值正确性问题。CuTe 内核在 SM100 和 SM90 上把 K/V 的 TMA 加载按 seqlenk 截断，未被使用的行不再污染 dQ，也不会把 NaN 带进梯度，packed varlen 和 dense sequsedk 两条路径都覆盖到了；缓存中未使用的 V 条目同样不再引发 NaN 扩散。ragged K/V 的加载改为逐 CTA 更新描述符，取代原先回绕式的写法。SM100 的 hd256 反向传播推进到第 4/7 步：GQA 下把同一 KV 头对应的查询头打包进同一个 Q tile。另外修正了 2CTA 的 CLC tile 坐标，前向 work-tile 坐标改为逻辑坐标。config.py 用 ruff 重新格式化，Lint 工作流恢复通过。
fa4-v4.0.0.beta36预发布2026-10-21
fa4-v4.0.0.beta36：修复了分页 KV 缓存下的 CUDA graph 捕获问题；SM100 的 hd256 反向传播统一工作继续推进，本版完成 64 行 KV tile（M=64 TMEM 布局）改写，并支持 GQA、变长序列与确定性计算，同时在 FlashAttentionBackwardSm100 上按需启用 hdim 256。CuTe 路径新增类型化的前向配置。测试方面补齐了 FA4（CuTe）与 FA2 入口的 CUDA graph 捕获/回放覆盖，方便及早发现图捕获相关的回归。
fa4-v4.0.0.beta35预发布2026-10-14
flash-attention 更新至 fa4-v4.0.0.beta35。本版将版本号提升至 3.0.1，并为 CuTe 路径在 SM120 架构上补充了 num_splits 自动划分支持——此前该架构需要手工指定分块数，现在能按硬件情况自行选择，省去调参环节。改动集中在两处小提交，对使用者而言无接口变化，升级后 SM120 卡可直接获得更省事的默认行为。
v2.8.3.post22026-10-13
FlashAttention 2 v2.8.3.post2 是在 v2.8.3.post1 基础上的维护版本，内核本身没有新特性。主要做了两处安全加固：flashattn/utils/distributed.py 和 flashattn/models 中的 torch.load 改用 weightsonly=True（CVE-2026-31253），hopper/setup.py 的解包改用安全的 tarfile 提取方式（CVE-2026-62239）。此外修复了一个反向传播中的隐患：当 batch round128(seqlenq) nheads headdim 超过 2^31 时，dqaccum 偏移量会发生 int32 溢出，进而触发非法内存访问或梯度出现 NaN——大模型、长序列训练的用户建议尽快升级。最后 setup.py 会在 CUDA 13 对应的 torch 环境下请求 cu13 预编译 wheel。
fa4-v4.0.0.beta34预发布2026-10-07
fa4-v4.0.0.beta34 更新：CuTe 后端在 SM100/SM103 上继续优化，decode 阶段引入 S/P ping-pong 让 QK 计算与 softmax 重叠，hd256 前向/反向进一步统一，2-CTA 调度覆盖 varlen Q 与 decode，反向后处理改为直接把 dQaccum 载入寄存器。修复了 SM103 上 hd128 decode 崩溃、以及 CUDA 13 配合 PyTorch 2.15 的 Windows 构建问题；hd256 反向现支持 deterministic=True，MLA 前向编译改按 KV 头数键控，CuTe 依赖放宽到 apache-tvm-ffi 0.1.11。
fa4-v4.0.0.beta33预发布2026-09-30
Flash-Attention 更新至 v4.0.0.beta33，重点打磨 SM100 上的稀疏 MLA 训练：反向传播中 P 归一化与 dS 乘积改用 fp32 计算，前向采用精确的运行 softmax max，dpsum 改从 O 残差导出，反向预处理的 lselog2 写入也不再越界；重算 P 路径放宽到支持 64 个 Q 头，稀疏反向不再受头数限制。另新增 1CTA 的 MLA 前向（稠密与稀疏 top-k）及更合理的调度启发式。SM90 一侧，前向分块尺寸改为贴合块稀疏粒度，并跳过无掩码 KV 块上的因果/局部掩码计算，块稀疏空瓦片也补写真实零值。SM100 HD256 反向新增 sequsedq/sequsedk 支持。ROCm 端修复了 numsplits 启发式恒返回 1 的 bug，该修复此前限制了 AMD 平台的并行切分效果。
fa4-v4.0.0.beta32预发布2026-09-23
本次更新聚焦 SM100 上的稀疏 MLA 反向优化：在 CuTe 内核中实现 P 的即时重算，并将反向过程按 token 分块执行，显著降低显存占用；同时通过内核内 TMA padding，让稀疏 MLA 支持 1 到 128 个 Q 头，覆盖更灵活的模型配置。构建方面，PyTorch 2.13 及以上版本改用 C++20 编译；ROCm 新增 FLASHATTENTIONUSESYSTEMAITER 开关，可改用系统自带的 AITER 库。CI 已加入 PyTorch 2.14 的 wheel 构建矩阵，并改进了 GPU 任务的容器运行方式。
fa4-v4.0.0.beta31预发布2026-09-16
fa4-v4.0.0.beta31 把重心放在 SM100 的性能与正确性打磨上：Flash MLA 加入 Attention Sink 支持；非因果 hdim 128 路径中 softmax 线程溢出寄存器的问题得到修复；hd256 双 CTA 补齐 sequsedq/sequsedk 与解码器 paged-KV 形状支持，varlen 调度和 epilogue 也做了优化，并保持向量化写回所需的输出对齐。SM90 侧修正了反向传播中颠倒的 MMA layout，hdim256 改用 2 级流水配置。另有两处边界修复：空 Q/K 输入的反向传播现在返回零梯度，PackGQA 在 padded head dimension 下的谓词判断不再出错。此外又下线了一个旧接口。
fa4-v4.0.0.beta30预发布2026-09-09
Flash-Attention fa4-v4.0.0.beta30 更新：CuTe 后端修复了 SM80/SM120 变长序列前向的非法 tile 问题，以及滑动窗口下 seqlenkloaded 把窗口边界 0 误判为无界的 bug；故意留空的偏移窗口不再被错误扩展为全注意力。SM90 反向传播在 headdim 落在 (128, 192] 区间时的崩溃已修复，SM100 反向现支持 headdim 非 32 倍数的场景。性能方面，SM100 上 hdim-64 反向通过独立的 P/dS TMEM 槽位和逐 warp 信号机制提速；另外 JIT 缓存哈希现在会纳入 callable 的默认参数，避免误命中缓存。
fa4-v4.0.0.beta29预发布2026-09-02
fa4-v4.0.0.beta29 更新这版只有一个改动：CuTe 层面优化了 SM100 标量 mask 的编译速度（PR #2819）。编译期提速对使用者的实际影响是，涉及 SM100 的构建不再被这部分代码拖慢，生成的运行结果保持不变，属于纯开发体验层面的提升。