从一个关键词开始
搜名称,也可以搜场景,比如“AI 写作”“视频剪辑”或“编程助手”。
AI热点 6
面壁智能350亿参数模型手机端提速至30 Token/sAI热点面壁智能披露MiniCPM-V 4.7 35B-A3B经LES等推理优化后,手机端生成速度超30 Token/s,内存占用约3GB。
VLA推理优化测量研究提出VLA-Triage指南AI热点新论文系统测量7类推理优化方法在7个VLA模型、4类GPU上的表现,分析CPU启动开销、内存带宽与内核效率如何共同影响优化收益,并提出VLA-Triage延迟预算优化叠加指南。
LlamaIndex优化OCRia-1推理提速近10倍AI热点LlamaIndex披露OCRia-1推理优化方案,单张B200上token生成从约285提升至约2800 tokens/sec,接近10倍。
Raincheck框架提升多轮MLLM推理效率AI热点arXiv论文提出Raincheck框架,通过延迟多模态预填充优化多轮MLLM推理,首字延迟降低24.1%
Pika开源H3 Flex:六步生成音视频AI热点Pika基于MiniMax H3开源衍生模型H3 Flex,通过六步去噪联合生成画面与同步音频,开放适配器权重与推理代码,推理速度提升约1.6倍。
VAR-Q免调优KV缓存量化:内存降78.5%AI热点VAR-Q提出面向视觉自回归图像与视频生成的免调优KV缓存量化框架,在九个模型上将KV内存最多降低78.5%,并支持6倍更大推理批次。