从一个关键词开始
搜名称,也可以搜场景,比如“AI 写作”“视频剪辑”或“编程助手”。
开源项目 15
Triton-distributed:面向计算通信重叠的分布式编译器开源项目基于 OpenAI Triton 的分布式编译器,用低层原语编写计算与通信重叠的内核,面向 NVIDIA 与 AMD GPU。查看
vLLM:大模型推理与服务库开源项目用 Rust 之外的 Python 实现的 LLM 推理服务库,提供高吞吐服务、OpenAI 兼容 API 与多种硬件支持。查看
llama.cpp:C/C++实现的本地LLM推理引擎开源项目用纯C/C++实现的大语言模型与视觉语言模型推理引擎,目标是在多种硬件上以最少配置实现本地和云端推理。查看
BilldDesk:跨平台远程桌面控制应用开源项目开源跨平台远程桌面控制软件,支持网页、电脑端、安卓端互控,含硬件编解码加速与群控屏幕墙。查看
Magnitude:本地模型推理引擎开源项目开源推理引擎,按硬件自动调优内核以加速本地模型运行。查看
gputaskman:终端里的 GPU 进程监控工具开源项目类 htop 的终端 UI,展示每进程 GPU 显存、引擎活动、运行时与模型文件等信息。查看
Apex Neural Rendering (ANR):帧生成与录制对比工具开源项目Apex Compute 的神经渲染项目,提供 Beta 版帧生成(ANR FG),并附带 nr-record 工具,可无损录制游戏帧生成输入并回放对比多种超分/帧生成方案。查看
FlashAttention:高效精确注意力官方实现开源项目FlashAttention 与 FlashAttention-2 的官方实现,提供 IO 感知的快速显存高效注意力。查看
Ocarina Recomp:塞尔达时之笛Windows原生重编译项目开源项目Ocarina Recomp 把《时之笛》游戏代码转译为C并在Windows上原生编译运行,图形转换为Vulkan。查看
MiniCPM-V:端侧多模态大模型系列开源项目OpenBMB的多模态大模型系列,最新为MiniCPM-V 4.7(35B-A3B与1B)和全模态模型MiniCPM-o 4.5。查看
Veyra:Windows 实时 GPU 视频增强工具开源项目把本地视频、采集卡与游戏串流接入同一条实时 GPU 增强管线,提供超分、降噪、HDR、帧生成与录制导出。查看
Gigatoken:高性能文本分词器开源项目面向语言模型数据处理的快速分词器,兼容 HuggingFace Tokenizers 与 tiktoken,提供自有 API 与兼容模式两种用法。查看
gpuworks:轻量级 GPU 与模型服务平台开源项目40 MB 的 GPU 管理与 MaaS 平台,把自有服务器、云实例与容器组成统一集群,一键部署模型并以 OpenAI 兼容端点对外服务。查看
NSP Box:Switch 2游戏打包工具开源项目Windows便携应用,把已解包的ExeFS/RomFS快照打包为明文NSP/NUP,供兼容模拟器使用。查看
ROLL:大模型强化学习分布式训练库开源项目面向大语言模型的强化学习扩展库,基于 Ray 多角色分布式架构,集成 Megatron-Core、SGLang 与 vLLM。查看