从一个关键词开始
搜名称,也可以搜场景,比如“AI 写作”“视频剪辑”或“编程助手”。
AI热点 20
Visa微调Llama 3.2 1B超越表格分类模型AI热点Visa Research发布VRLLM技术报告,将Llama 3.2 1B微调为表格分类器并超越多种模型。
vLLM:Rubin NVL72推理吞吐较GB300高58倍AI热点vLLM公布DeepSeek-V4.1-Flash在Vera Rubin NVL72上的实测性能,单GPU吞吐达170万tokens/s,较GB300提升58倍。
vLLM-Omni实现H3-Image在Rubin的Day-0支持AI热点vLLM-Omni将MiniMax H3-Image带到NVIDIA Vera Rubin,四卡配置下4K生成中位延迟0.866秒,吞吐达6115张/小时。
vLLM发布EPD分离架构工程实现AI热点vLLM发文讲解编码/预填充/解码分离架构的工程实现,支持metadata-only请求与DeepSeek V4.1 Flash。
vLLM首日支持Kimi K3.1 Pro部署AI热点vLLM宣布实现Kimi K3.1 Pro首日推理部署,覆盖多硬件平台并带来显著性能提升。
vLLM Hook v1开源:编程模型内部状态AI热点vLLM Hook v1开源插件发布,可编程vLLM模型内部状态,支持探测与干预且开销小。
vLLM实现Mistral Large 4首日支持AI热点vLLM宣布对Mistral新旗舰模型Mistral Large 4提供Day 0支持,该模型为1T参数、每token激活49B的原生多模态MoE模型,采用MLA稀疏注意力、跨层KV共享等新架构,并内置DSpark推测解码草稿器与Pixtral视觉编码器。
MiniCPM-OCR 1.0原生支持vLLM与SGLangAI热点面壁智能宣布MiniCPM-OCR 1.0已原生支持vLLM和SGLang,代码合并后可直接部署。
寒武纪完成商汤Loop-9B模型Day 0适配AI热点寒武纪基于vllm_mlu完成商汤SenseNova Loop-9B的Day 0适配,打通MLU平台推理链路。
BlockLock实现可复现LLM推理,延迟降逾53%AI热点arXiv论文提出BlockLock方法,通过固定批处理几何形状保证LLM推理输出可复现,实验显示相对vLLM Batch-Invariant延迟降低53.5%至55.0%。
FlashStates发布:混合状态缓存预填充提速3.14倍AI热点Together AI、UIUC与UT Austin提出FlashStates,重新设计混合架构模型的KV与状态缓存管理,预填充吞吐最高达vLLM的3.14倍,SGLang已接入其淘汰策略。
SpecSearch发布:硬件感知投机解码提速2.01倍AI热点SpecSearch通过硬件感知搜索优化投机解码配置,在多款GPU上实现平均2.01倍自回归吞吐。
DeepSeek发布V4-Pro-0813正式版AI热点DeepSeek发布V4-Pro-0813正式版,替代预览版,增强智能体能力并加入DSpark推测解码。
MasterControl开源Runway推理验证框架AI热点MasterControl发布内部验证工具Runway,围绕NVIDIA AIPerf构建合规决策流水线,并给出三项推理引擎评测发现。
阿里开源实验模型,预览Qwen4架构AI热点通义千问开源180B实验模型Qwen3.8-Flash-Next,首秀Qwen4三项架构设计,上下文可扩至百万token。
ServerBench发布:智能体设计LLM服务系统AI热点arXiv论文提出ServerBench基准,评测编码智能体设计专用LLM服务系统的能力,Claude Sonnet 5.5表现领先。
Anthropic发布可验证推理系统FlashProveAI热点Anthropic发布基于zkSNARK的可验证推理系统FlashProve,开源代码与Lean证明。
米哈游公布游戏AI基础模型GamerAI热点米哈游公布通用视觉语言动作基础模型Gamer,可自主游玩3D和2D游戏。
蚂蚁灵波LingBot下载量破220万AI热点蚂蚁灵波携全栈开源机器人通用大脑亮相乌镇峰会,LingBot系列开源9个月下载量突破220万,并展示机器人智慧药房落地进展。
蚂蚁百灵发布Ling-3.1-flash模型AI热点蚂蚁百灵上线Ling-3.1-flash原生混合推理模型,总参数560B、激活25B,支持100万token上下文。
开源项目 39
vLLM:大模型推理与服务库开源项目用 Rust 之外的 Python 实现的 LLM 推理服务库,提供高吞吐服务、OpenAI 兼容 API 与多种硬件支持。查看
nano-vllm:从零实现的轻量 vLLM开源项目约 1200 行 Python 从零实现的轻量级 vLLM,提供离线推理与前缀缓存、张量并行、CUDA graph 等优化。查看
YATT:基于 Megatron 的 RL 训练库开源项目腾讯开源的强化学习训练库,构建于 Megatron、vLLM 与 SGLang 之上,支持语言模型与 VQA 的 RL 训练及 LoRA。查看
MiniCPM-OCR:文档解析与OCR模型系列开源项目面向中英文文档与PDF解析的OCR模型系列,含1.0解析模型与Jev质量评分模型,支持vLLM等部署与pip SDK。查看
DeepSeek-OCR:视觉-文本压缩OCR模型开源项目从LLM视角研究视觉编码器的OCR模型,支持多种原生分辨率与动态分辨率模式,可用vLLM推理。查看
GLM-OCR:复杂文档理解的多模态OCR模型开源项目基于 GLM-V 编解码架构的多模态 OCR 模型,配合 SDK 与推理工具链,支持云端 API 或 vLLM、SGLang、Ollama 自托管部署。查看
SpikingBrain-7B:脉冲脑启发大模型的实现与权重开源项目SpikingBrain-7B 是融合混合注意力、MoE 与脉冲编码的大模型仓库,提供 HuggingFace、vLLM 与量化版本的完整实现和权重。查看
ROLL:大模型强化学习分布式训练库开源项目面向大语言模型的强化学习扩展库,基于 Ray 多角色分布式架构,集成 Megatron-Core、SGLang 与 vLLM。查看
dInfer:扩散语言模型推理框架开源项目面向 dLLM 的高效可扩展推理框架,将推理拆分为模型、扩散迭代管理器、解码器与 KV 缓存管理器四个组件,支持批量推理。查看
UniScientist:科研数据合成与智能体研究模型开源项目包含 UniScientist-30B-A3B 模型与科研问题合成、智能体研究循环、报告聚合的推理代码。查看
HunyuanImage-3.0:原生多模态图像生成模型开源项目腾讯开源的统一自回归多模态模型,支持文生图、图生图与带推理的指令式图像生成。查看
Mooncake:以KVCache为中心的LLM推理服务架构开源项目面向大模型推理服务的KVCache中心化分离式架构,提供分布式KV缓存池与跨节点数据传输引擎。查看
DFlash:块扩散投机解码草稿模型开源项目面向投机解码的轻量块扩散模型,支持多款开源基座的并行草稿生成与多种推理后端。查看
VoxCPM:无离散token的文本转语音模型开源项目基于扩散自回归架构的开源TTS系统,支持30种语言、声音设计、可控声音克隆与48kHz输出。查看
HunyuanOCR-1.5:轻量端到端 OCR 视觉语言模型开源项目统一文档解析、文本检测识别、信息抽取与图文翻译的轻量 OCR VLM,含训练与推理栈。查看
gpuworks:轻量级 GPU 与模型服务平台开源项目40 MB 的 GPU 管理与 MaaS 平台,把自有服务器、云实例与容器组成统一集群,一键部署模型并以 OpenAI 兼容端点对外服务。查看
JoyAI-VL-Interaction:实时视频语言交互模型与系统开源项目8B 视觉语言交互模型,配套训练配方、数据与实时流式部署系统。查看
Dolphin:文档图像解析模型开源项目基于单一VLM的两阶段文档解析模型,将页面解析为结构化JSON与Markdown,支持页面级与元素级解析。查看
Qwen-Image-Layered:图像分层分解模型开源项目将图像分解为多个RGBA图层的模型,每层可独立编辑,支持变层数与递归分解,附Gradio部署脚本。查看
Qwen3-Omni:多模态全模态基础模型开源项目Qwen3-Omni 是端到端多语言全模态基础模型,处理文本、图像、音频、视频并流式输出文本与语音。查看