北大、天大开源三维空间基准:让模型自己找物体

北大、天大开源三维空间基准:让模型自己找物体

Ai热点前沿
Ai热点前沿11-16 10:00

2026-11-16 18:00

导语:让视觉模型主动探索、三角测量并在线构建三维物体地图。SpatialScout是什么 SpatialScout是北京大学与

SpatialScout是什么

SpatialScout是北京大学与天津大学团队开源的三维空间智能基准,包含80个室内场景和3,140个目标物体。SpatialScout要求视觉语言模型操控可自由移动的摄像头,自主探索环境、调用三角测量等工具,逐步建立统一坐标系下的物体中心三维地图。评测同时考察定位精度与目标覆盖率。

SpatialScout

SpatialScout的主要功能

  • 主动探索:模型自主操控摄像头平移、旋转并拍摄图像,决定下一步观察哪里。
  • 跨视角三角测量:用不同视角中的对应像素调用工具,估计物体表面点的三维位置。
  • 在线建图与修正:在初始相机定义的固定坐标系下,分批提交和更新物体中心坐标。
  • 双维评分:同时以中心误差和与物体尺度相关的三维 IoU 评估定位精度与目标覆盖率。
  • 过程分析:保留观察、工具调用与位置更新的完整轨迹,支持分析模型的视角选择与空间修正策略。

SpatialScout的技术原理

  • 统一坐标的建图任务定义:评测将空间理解转化为在统一坐标系下构建物体中心地图的任务:智能体从初始视角出发,获得 RGB 图像、目标物体清单、相机内参与位姿以及公开搜索范围,持续把各视角的观察结果落实为三维坐标;真实中心、包围盒与评测分数保留在评测端,探索过程中不向模型返回。
  • 工具化的主动感知接口:所有模型通过统一的工具接口与提示词进行交互,可移动相机拍摄新图像,并对跨视角对应像素调用三角测量工具;模型需自行判断哪些视觉特征属于同一物体、表面点如何对应物体几何中心,每个任务限定 100 次模型调用和 100 张图像(含初始图像),一次调用可请求多个工具。
  • 尺度相关的 IoU 评分机制:模型只需提交物体中心坐标,无需预测尺寸:评测器将目标的参考包围盒平移到预测中心,与真实包围盒计算三维交并比;全目标平均 IoU 将未提交物体按零分计入以约束覆盖率,已提交目标的平均 IoU 反映定位质量,同类可互换实例采用组内一一匹配以消除编号顺序影响。
  • 基于轨迹的失败归因分析:通过对多模型轨迹的定量与定性分析,揭示跨视角特征对应与几何工具的有效使用才是定位质量的关键,几何残差小并不保证找对了对应特征或物体中心。

挖挖GitHub

微信关注回复“开源”,加入AI开源项目交流群

如何使用SpatialScout

  • 获取代码:从 GitHub(github.com/JesseZZZZZ/SpatialScout)克隆仓库,按说明配置环境与依赖。
  • 接入被评测模型:将待测视觉语言模型接入基准统一的工具接口与提示词,使其具备图像输入与工具调用能力。
  • 加载任务:智能体从初始视角出发,接收 RGB 图像、目标物体清单、相机内参和位姿及公开搜索范围。
  • 自主探索:模型自主决策,平移或旋转摄像头拍摄新图像,每个任务预算为 100 次模型调用和 100 张图像。
  • 几何估计:对不同视角中属于同一物体的对应像素调用三角测量工具,估计其表面点的三维位置。
  • 提交与更新地图:将估计的物体中心以初始相机坐标系提交,可分批补充遗漏目标或修改已有估计。
  • 自动评分:评测器根据提交的坐标计算中心误差、目标覆盖率和尺度相关三维 IoU,生成最终评测结果。

SpatialScout的核心优势

  • 可交互的真实任务设定:把空间理解从”看图像答题”升级为自由移动摄像头、自主获取证据并输出三维坐标的完整任务,更贴近具身智能的真实需求。
  • 统一公平的评测协议:所有模型使用统一的工具接口、提示词和交互预算,结果可直接横向比较。
  • 精度与覆盖率双重计分:全目标平均 IoU与已提交平均 IoU 相结合,有效识别”只报少数容易物体”的投机行为。
  • 免预测物体尺寸:评测器将参考包围盒平移到预测中心计算 IoU,模型只需提交坐标,降低评分对尺寸估计的干扰。
  • 防编号作弊的匹配机制:同类可互换实例采用组内一一匹配,消除物体编号顺序对评测结果的影响。
  • 过程级可分析性:保留完整的观察、工具调用与位置更新轨迹,支持对视角选择、跨视角对应和失败模式的细粒度归因。

SpatialScout的项目地址

  • GitHub仓库:https://github.com/JesseZZZZZ/SpatialScout
  • arXiv技术论文:https://arxiv.org/pdf/2610.26659

SpatialScout的同类竞品对比

对比维度 SpatialScout VSI-Bench
任务范式 主动探索:模型自主移动摄像头、调用工具建图 被动问答:模型回答关于图像/视频的方向、距离、计数问题
输出形式 统一坐标系下的物体三维中心坐标 文字形式的选择题/数值答案
交互能力 支持工具调用与多轮自主交互(100 次调用预算) 无交互,一次性输入图像或视频
评测指标 中心误差、目标覆盖率、尺度相关三维 IoU 答题准确率
考查重点 主动感知 + 跨视角对应 + 几何估计 + 在线建图 静态场景下的空间关系推理
数据来源 80 个物理仿真室内场景、3,140 个目标物体 真实场景的第一视角视频与全景图像
过程分析 保留完整轨迹,可分析视角选择与失败归因 仅最终结果,无过程级分析
评测防作弊设计 组内一一匹配、未提交计零分 选择题形式天然受限答案空间

SpatialScout的应用场景

  • 具身智能机器人:评测和改进机器人在陌生房间中自主寻找、定位目标物体(如”找到桌上的杯子”)的能力。
  • AR/VR 空间感知:检验模型能否精确估计物体三维位置,为虚拟物体的持久化锚定与遮挡渲染提供能力底座。
  • 智能家居与服务机器人:支撑扫地机、陪伴机器人建立室内物体地图,实现”帮我拿一下沙发上的遥控器”类指令。
  • 仓储与物流盘点:让移动机器人自主巡检货架,输出每件货物的精确三维坐标,辅助库存清点与拣选。
  • 自动三维重建与数字孪生:验证主动感知式建图算法,为快速生成精确的室内场景数字孪生体提供评测与训练基准。

来源:AI工具集

#AI工具

免责声明:含第三方意见,不构成财务建议

分享至
X
Telegram
WeChat
QQ
Link
推荐阅读

Step Code – 阶跃星辰开源的终端编程智能体

09-24
Step Code – 阶跃星辰开源的终端编程智能体

Hy4 preview 轻量版 – 腾讯混元开源的Hy4量化压缩模型

09-02
Hy4 preview 轻量版 – 腾讯混元开源的Hy4量化压缩模型

Claude Fable 5.1 – Anthropic 推出的最新旗舰大模型

09-02
Claude Fable 5.1 – Anthropic 推出的最新旗舰大模型

开源版Retool来了,60+组件拖拽搭后台

08-19
开源版Retool来了,60+组件拖拽搭后台

Claude Opus 5来了:半价逼近Fable 5

07-25
Claude Opus 5来了:半价逼近Fable 5

腾讯开源260个真实任务,考AI打工能力

07-25
腾讯开源260个真实任务,考AI打工能力

美团开源AI考场:813个Minecraft任务

07-25
美团开源AI考场:813个Minecraft任务