Matrix-3D:全景式可探索 3D 世界生成模型
结合条件视频生成与全景 3D 重建,支持文本或图像输入生成可 360 度自由探索的场景,提供代码、模型与 Gradio 演示。
Matrix-3D 是一个全景式全向可探索 3D 世界生成项目,将条件视频生成与全景 3D 重建结合。它支持文本和图像输入,可自定义相机轨迹,生成支持完整 360 度自由探索的更大范围场景。流程分三步:文本/图像生成全景图、生成全景漫游视频、提取 3D 场景(提供基于优化的高质量重建与前馈式高效重建两种方式,输出 .ply)。提供 480p/720p 及 5B 视频模型等多个预训练权重,整条流水线最低需 16G 显存,低显存模式下 720p 视频生成约需 19G。已在 Linux + NVIDIA GPU 环境测试,另附 Gradio 演示。