投稿 提交工具 投放合作

SpatialLM:从点云生成结构化 3D 场景的模型

大语言模型 5.2k(+8) 442 Python 2026-11-21 访问官网 ↗ 在 GitHub 打开

3D 大语言模型,输入点云并输出墙、门窗及带朝向的物体包围盒等结构化场景理解结果。

SpatialLM 是一个处理 3D 点云、生成结构化场景理解输出的 3D 大语言模型,输出包括墙、门、窗等建筑元素以及带语义类别的有朝向物体包围盒。点云可来自单目视频序列、RGBD 图像和 LiDAR 等多种来源,无需专用采集设备。模型提供 SpatialLM1.1-Llama-1B、SpatialLM1.1-Qwen-0.5B 及 1.0 版本等多个变体,1.1 版将点云分辨率翻倍、采用 Sonata 点云编码器,并支持按用户指定类别做检测,可执行结构化重建(墙门窗加物体框)、布局估计(墙门窗)和 3D 物体检测(物体框,可从 59 类家具中指定子集)三类任务。输入点云需为 z 轴朝上的轴对齐方向。仓库提供推理、用 rerun 可视化、在 SpatialLM-Testset 上评测、基于自定义 RGB 视频(配合 MASt3R-SLAM 等重建方法)估计场景布局,以及在自定义数据上微调的说明;另发布含 12,328 个室内场景、54,778 个房间的 SpatialLM-Dataset 合成数据集和 107 个预处理点云的测试集。README 记载项目被 NeurIPS 2025 接收。

Star 趋势2026-11-08 — 2026-11-21当前 Stars 5.2k24h +87 日 +30

5.1k5.2k11-0811-1211-1411-1611-1811-21