投稿 提交工具 投放合作

OpenVINO:深度学习推理优化与部署工具包

11.6k(+246) 3.6k C++ 2026-11-21 访问官网 ↗ 在 GitHub 打开

OpenVINO是优化和部署深度学习推理的开源工具包,支持PyTorch、TensorFlow、ONNX等框架的模型,在CPU、Intel GPU和NPU上运行,并提供GenAI相关API。

OpenVINO用于优化和部署深度学习模型推理,覆盖计算机视觉、语音识别、生成式AI、自然语言处理等任务。模型来源包括PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle、JAX/Flax,也可通过Optimum Intel直接使用Hugging Face上的transformers与diffusers模型,转换部署时不必依赖原框架。平台支持CPU(x86、ARM)、Intel集成与独立GPU以及Intel NPU,提供C++、Python、C、NodeJS API,并有面向生成式AI模型管线的GenAI API。生态工具包括NNCF模型压缩(量化、稀疏)、OpenVINO Model Server、OpenVINO Tokenizers,以及与Optimum Intel、Torch.compile、ExecuTorch、vLLM、ONNX Runtime、LlamaIndex、LangChain、Keras 3等的集成。仓库附带Python与C++示例和Jupyter notebooks。README说明工具会收集性能与使用数据用于改进,可通过命令选择退出。