DeepGEMM：高性能 CUDA 张量核内核库
统一的高性能 CUDA 张量核内核库，涵盖 FP8/FP4/BF16 GEMM、融合 MoE、MQA 打分等，运行时经 DeepJIT 编译。
DeepGEMM 是统一的高性能张量核内核库，把现代大语言模型的关键计算原语纳入单一 CUDA 代码库：FP8/FP4/BF16 GEMM、通信重叠的融合 MoE（Mega MoE）、lightning indexer 的 MQA 打分、HyperConnection 等。所有内核通过 DeepJIT 在运行时编译，安装时无需 CUDA 编译。设计上借鉴 CUTLASS 与 CuTe 的部分概念但不重度依赖其模板与代数，核心内核函数数量有限，适合学习 NVIDIA GPU 内核优化。要求 NVIDIA SM90 或 SM100 架构 GPU、CUDA Toolkit 12.9+、PyTorch 2.3+、CUTLASS 4.0+、C++20 支持。提供非分组与分组 GEMM（contiguous 与 masked 布局）、indexer MQA 内核、稠密与 MoE 反向权重梯度内核等接口；输入转置与 FP8 转换需用户自行处理。另有 Ascend 版本 DeepGEMM-Ascend。