FlashQLA:基于 TileLang 的线性注意力算子库
用 TileLang 实现 GDN Chunked Prefill 前向与反向的融合算子,提供高层与低层 API。
FlashQLA 是基于 TileLang 的高性能线性注意力算子库,对 GDN Chunked Prefill 的前向和反向做算子融合与性能优化,README 称在 NVIDIA Hopper 与 Blackwell 多场景下相对 FLA Triton 内核有前向 2-3 倍、反向 2 倍加速。特性包括利用 GDN 门控指数衰减性质的卡内自动上下文并行、对前反向计算流的硬件友好代数重构,以及用 TileLang 编写的手工 warp 特化融合内核。可作为 flash-linear-attention 的 GDN 后端,通过标准 FLA API 即插即用。要求 SM90/SM100/SM103/SM120/SM121、CUDA 12.8+、PyTorch 2.8+,提供高层与低层调用接口、测试、性能分析与基准结果。