LeetCUDA:现代 CUDA 学习笔记开源书
600 多页开源书与 200+ CUDA kernel 示例,涵盖 Tensor Core、HGEMM、Flash-Attention 等实现与配套 SKILL。
LeetCUDA 是一本现代 CUDA 学习笔记的开源书,配套仓库提供 200 多个 CUDA kernel 示例,按 Easy 到 Hard++、Triton、CUTLASS 分级,每个主题的流程是自定义 CUDA kernel 实现、PyTorch Python 绑定、运行测试。内容覆盖 Tensor/CUDA Core、FP32/FP16/BF16/FP8 数据类型,以及用纯 MMA PTX 实现的 HGEMM 和 FlashAttention-2。书中给出的基准显示,其 HGEMM(WMMA/MMA/CuTe)在 NVIDIA L20、RTX 4090、RTX 3080 Laptop 上可达 cuBLAS 默认 Tensor Core 算法 98%~100% 的性能;FA2-MMA 实现支持多级流水、Tile MMA、共享 QKV SMEM、细粒度 tiling 等特性。开源书提供 600 多页 PDF 与在线文档(中英文),另附 leetcuda-cpp-kernel SKILL,可配合 GitHub Copilot、Claude Code 等编码 Agent 使用。