投稿 提交工具 投放合作

FlashQLA:基于 TileLang 的线性注意力算子库

大语言模型 761(+1) 89 Python 2026-11-21 在 GitHub 打开

用 TileLang 实现 GDN Chunked Prefill 前向与反向的融合算子,提供高层与低层 API。

FlashQLA 是基于 TileLang 的高性能线性注意力算子库,对 GDN Chunked Prefill 的前向和反向做算子融合与性能优化,README 称在 NVIDIA Hopper 与 Blackwell 多场景下相对 FLA Triton 内核有前向 2-3 倍、反向 2 倍加速。特性包括利用 GDN 门控指数衰减性质的卡内自动上下文并行、对前反向计算流的硬件友好代数重构,以及用 TileLang 编写的手工 warp 特化融合内核。可作为 flash-linear-attention 的 GDN 后端,通过标准 FLA API 即插即用。要求 SM90/SM100/SM103/SM120/SM121、CUDA 12.8+、PyTorch 2.8+,提供高层与低层调用接口、测试、性能分析与基准结果。

Star 趋势2026-11-07 — 2026-11-21当前 Stars 76124h +17 日 +4

74975576111-0711-1211-1411-1611-1811-21