从一个关键词开始
搜名称,也可以搜场景,比如“AI 写作”“视频剪辑”或“编程助手”。
AI热点 31
英伟达SEED发布:每GPU吞吐最高提升42%AI热点英伟达发布SEED推理优化方法,通过浅层预填充与循环状态压缩,在GB300上将Qwen3.8-Flash-Next每GPU峰值吞吐提升16%~42%,论文已上架arXiv。
vLLM:Rubin NVL72推理吞吐较GB300高58倍AI热点vLLM公布DeepSeek-V4.1-Flash在Vera Rubin NVL72上的实测性能,单GPU吞吐达170万tokens/s,较GB300提升58倍。
Intel首度公开D270 GPU测试,FP64吞吐最高5.9倍AI热点Intel公开Xe3P架构D270 GPU初步测试,FP64性能对标NVIDIA RTX PRO 6000最高达5.9倍吞吐。
SpecSearch发布:硬件感知投机解码提速2.01倍AI热点SpecSearch通过硬件感知搜索优化投机解码配置,在多款GPU上实现平均2.01倍自回归吞吐。
Lambda用英伟达CPO交换机互联超万块GPUAI热点Lambda部署英伟达CPO交换机,连接GB300 NVL72机架与超1万块GPU,机架级延迟降约4%。
港大开源YN决策模型,千万家庭仿真提速AI热点港大罗晔团队发布S²-MAS社会仿真框架与YN决策模型家族并开源,单卡吞吐达3.7万token/s。
FreeToken开源:RTX 5090本地跑DeepSeek 284B达25tok/sAI热点伯克利、MIT等推出开源推理引擎FreeToken,让个人电脑运行千亿参数MoE模型,RTX 5090实测DeepSeek 284B达22-25 tok/s,可接入Claude Code等Coding Agent。
BlockLock实现可复现LLM推理,延迟降逾53%AI热点arXiv论文提出BlockLock方法,通过固定批处理几何形状保证LLM推理输出可复现,实验显示相对vLLM Batch-Invariant延迟降低53.5%至55.0%。
英伟达联手SKT与Rebellions推进主权AIAI热点英伟达宣布与Rebellions、SK Telecom合作,采用NVLink Fusion将R200 NPU接入其开放平台,开发机架级推理系统并部署于SKT数据中心。
天数智芯天垓300实测吞吐达H200的1.05倍AI热点天数智芯在媒体开放日披露天垓300第三方及实验室测试数据,在典型PD分离部署下单卡端到端吞吐达H200的1.05倍,长上下文MoE吞吐达1.15倍,并展示AFD分离方案与端侧彤央产品性能。
天数智芯发布端侧终端TY1200AI热点天数智芯开放日发布端侧算力终端彤央TY1200,300 TOPS算力实测超越英伟达Thor T5000,并预告600T的TY2000。
FlexFloor弹性专家并行提升RL后训练吞吐52.74%AI热点arXiv新论文提出FlexFloor系统,通过弹性专家并行优化大模型强化学习后训练,较verl基线显著提升计算效率。
VisHead-Spec头路由注意力提速多模态投机解码AI热点VisHead-Spec通过固定KV头读取图像特征,在Qwen3-VL-8B上将高并发吞吐增益提升至16.0%。
vLLM-Omni实现H3-Image在Rubin的Day-0支持AI热点vLLM-Omni将MiniMax H3-Image带到NVIDIA Vera Rubin,四卡配置下4K生成中位延迟0.866秒,吞吐达6115张/小时。
谷歌与Meta开源TorchTPU原生PyTorch后端AI热点谷歌与Meta合作开源TorchTPU,为Google TPU提供原生PyTorch后端,现有模型少量改动即可运行,并公布吞吐与评测数据。
PhysMoE单令牌坐标定位提速8.31倍AI热点PhysMoE通过模态解耦与单令牌坐标表示,在9个定位基准上较基座提升15.7%,吞吐提速8.31倍。
FlashStates发布:混合状态缓存预填充提速3.14倍AI热点Together AI、UIUC与UT Austin提出FlashStates,重新设计混合架构模型的KV与状态缓存管理,预填充吞吐最高达vLLM的3.14倍,SGLang已接入其淘汰策略。
论文提出光学广播内存,省PB级HBMAI热点arXiv论文提出光学广播内存OBM架构,用集中式内存服务器向推理节点广播模型权重,评测显示在8万加速器规模下可省PB级HBM且吞吐与能耗具竞争力。
百度昆仑芯M100投入使用,M300提前至2027AI热点百度在世界大会宣布昆仑芯M100投入使用,M300与1024卡天池超节点计划提前至2027年,新硬件使多轮AI响应延迟降低90%、系统吞吐提升7倍。
腾讯优图开源DSpine推测解码方案AI热点腾讯优图实验室联合上海交大、厦门大学提出并开源DSpine并行推测解码方法,SGLang服务吞吐较DSpark平均提升约20%,最高实现4.01倍加速,已落地腾讯WorkBuddy线上推理业务。
开源项目 12
gpu-unlock-ada:RTX 4090 与 Ada 显卡 SM 速度选择覆盖内核模块开源项目Linux 内核模块,在 NVIDIA 驱动加载前覆盖 SM 速度选择,README 报告 RTX 4090 上 FP16/BF16 张量吞吐约翻倍,属实验性项目。查看
gpu-unlock:解除GeForce张量核心半速限制开源项目Linux内核模块,在驱动加载前解除NVIDIA GeForce显卡张量核心的半速限制,提升AI计算吞吐。查看
vLLM:大模型推理与服务库开源项目用 Rust 之外的 Python 实现的 LLM 推理服务库,提供高吞吐服务、OpenAI 兼容 API 与多种硬件支持。查看
nv-uefi-unlocker:NVIDIA 显卡 UEFI 预驱动解锁工具开源项目从 U 盘启动、在驱动加载前解除 NVIDIA 显卡张量计算性能限制的 UEFI 工具,断电后恢复原状。查看
Surya:多语言OCR与文档版面分析模型开源项目689M参数OCR模型,支持多语言文字识别、版面分析、阅读顺序与表格转HTML,附带文本行检测和OCR错误检测小模型。查看
Step-3.5-Flash:稀疏 MoE 开源基础模型开源项目196B 参数、每 token 激活 11B 的 MoE 基础模型,面向推理、编码与 Agent 任务。查看
dInfer:扩散语言模型推理框架开源项目面向 dLLM 的高效可扩展推理框架,将推理拆分为模型、扩散迭代管理器、解码器与 KV 缓存管理器四个组件,支持批量推理。查看
nano-vllm:从零实现的轻量 vLLM开源项目约 1200 行 Python 从零实现的轻量级 vLLM,提供离线推理与前缀缓存、张量并行、CUDA graph 等优化。查看
3FS:面向 AI 训练与推理的高性能分布式文件系统开源项目利用现代 SSD 与 RDMA 网络构建的分布式文件系统,为 AI 训练和推理提供共享存储层,支持数据准备、数据加载、检查点与 KVCache 等负载。查看
Gigatoken:高性能文本分词器开源项目面向语言模型数据处理的快速分词器,兼容 HuggingFace Tokenizers 与 tiktoken,提供自有 API 与兼容模式两种用法。查看
mirro-rs:Arch Linux 镜像源列表管理 TUI开源项目Rust 编写的 Arch Linux 镜像列表管理工具,提供 TUI,可按延迟、评分、完成率、速率等指标排序筛选并导出。查看
Valkey:高性能键值数据结构服务器开源项目从 Redis 分叉的开源高性能键值数据结构服务器,支持多种原生结构与可扩展插件系统。查看