投稿 提交工具 投放合作

V-JEPA 2:自监督视频理解与预测模型

智能体与MCP 4.9k(+1) 599 Python 2026-11-15 在 GitHub 打开

Meta FAIR 的自监督视频模型官方 PyTorch 代码库,涵盖 V-JEPA 2、V-JEPA 2-AC 与 V-JEPA 2.1。

这是 V-JEPA 2 系列模型的官方 PyTorch 代码库。V-JEPA 2 通过掩码潜特征预测目标在互联网规模视频上自监督训练视频编码器与预测器,用于运动理解和人类动作预期任务;V-JEPA 2-AC 是在 V-JEPA 2 基础上用少量机器人轨迹数据后训练的潜动作条件世界模型,可在新环境中用单目 RGB 相机完成抓取、放置等机械臂操作任务。V-JEPA 2.1 改进了训练配方,采用稠密预测损失(可见与掩码 token 都参与损失)、在编码器多个中间层施加自监督的深度自监督、面向图像与视频的多模态 tokenizer,以及模型与数据规模扩展,以学习高质量、时间上一致的稠密特征。仓库提供 ViT-B/L/H/g 等多种规模的预训练权重(含 384 分辨率版本)、预训练配置、通过 PyTorch Hub 加载的骨干网络,以及 SSv2、Diving48、EK100 三项评测的 attentive probe 权重与推理配置。依赖 PyTorch、timm、einops,视频解码依赖 decord,而 decord 不支持 macOS 且已停止开发,README 说明在 macOS 上运行需要换用其他 decord 实现。

Star 趋势2026-11-08 — 2026-11-16当前 Stars 4.9k24h +1

4.9k11-0811-1111-1211-1311-1411-1511-16