智源推出物理AI“量尺”:1500段视频、7个维度评估描述质量

智源推出物理AI“量尺”:1500段视频、7个维度评估描述质量

Ai热点前沿
Ai热点前沿11-18 06:50

2026-11-18 14:50

导语:七维度定位物理描述短板,机器人成功率提升7.5%。悟界·PhysCapBench是什么 悟界·PhysCapBench是

悟界·PhysCapBench是什么

悟界·PhysCapBench是逆矩阵联合智源研究院、北大等推出的首个跨领域视频物理描述评测基准,覆盖第三人称场景、第一人称操作与手持夹爪示范三类数据共1500段视频,从七个维度衡量Caption对运动、接触、形变、状态变化等物理信息的覆盖与保真,并经视频生成与机器人策略实验验证其下游价值,为物理AI基模的数据优化提供统一的”量尺”。

PhysCapBench

悟界·PhysCapBench的主要功能

  • 跨领域统一评测:将第三人称场景、第一人称操作与手持夹爪示范三类视频纳入同一框架,用同一量尺度量不同来源数据。
  • 物理信息缺口定位:从七个维度评价 Caption 对运动、接触、状态变化等信息的覆盖与保真,暴露描述策略的短板。
  • 标注质量评估:以基于视频证据构建的参考描述为标准,检验标注内容能否在视频中得到支持。
  • 训练数据优化依据:通过视频生成与机器人策略两类下游实验,验证更完整的物理描述能切实提升模型表现,指导数据建设。

悟界·PhysCapBench的技术原理

  • 跨领域数据组织:基准按物理过程组织数据:第三人称场景侧重物体运动、形变与环境演化,第一人称操作侧重手物接触与状态转换,手持夹爪示范侧重夹爪交互与执行结果。三类数据以物理信息的准确性与完整性为共同质量目标,各取 500 段、共 1,500 段视频序列纳入同一评价体系,使不同视角的经验可以在统一维度上比较。
  • 七维度评价体系:针对现有 Caption 能概括场景动作、却丢失物理细节的问题,评测被拆解为七个维度,分别检查动作过程、接触关系、状态变化及其时序等内容,每个维度单独打分再汇总综合得分。整体质量被落到具体信息类型上,不同描述策略的相对优劣和各自短板可以在榜单中直接对照。
  • 基于视频证据的参考描述构建:物理过程往往跨越接触前运动、接触后形变、动作结束状态等多个阶段,单帧信息不足以支撑准确描述。因此标注流程从全局观察与事件定位出发,逐步梳理参与对象、动作、接触与状态变化,再逐项核验描述是否有连续视频证据支持;机制与因果信息只以可观察证据为准,复杂操作则重点核对阶段划分与结果状态的一致性,由七名专业标注人员执行标注与质检。

挖挖GitHub

微信关注回复“开源”,加入AI开源项目交流群

如何使用悟界·PhysCapBench

  • 获取资源:从 GitHub 仓库(代码)和 Hugging Face 数据集页面下载悟界·PhysCapBench 的评测代码与 1,500 段视频及参考描述数据。
  • 选择评测对象:确定要评测的 Caption 来源,可以是人工标注、现有数据集的原始描述,或自动生成描述的模型。
  • 生成/整理候选描述:为目标视频生成候选 Caption,并按三大领域分组组织。
  • 对照参考描述打分:将候选描述与基准提供的基于视频证据构建的参考描述对比,在七个物理信息维度上逐项评估覆盖度与保真度。
  • 分析维度得分:查看综合得分与各维度得分的分布,定位描述策略的信息短板。
  • 优化描述策略:根据短板改进标注模板或生成提示词,必要时参照参考描述的构建流程重新组织标注。
  • 验证下游收益:将优化后的物理描述用于视频生成条件或策略训练指令增强,通过 LPIPS/PVCS 或任务成功率等指标确认实际提升。

悟界·PhysCapBench的核心优势

  • 跨领域统一:首次将第三人称场景、第一人称操作与手持夹爪示范纳入同一评测框架,填补跨领域物理描述评测的空白。
  • 评测维度精细:七维度评价体系把”描述质量”拆解到运动、接触、状态变化等具体信息类型,能精准定位各描述策略的短板。
  • 标注可核验:参考描述基于连续视频证据构建并经过专业人员核验,保证描述既有信息覆盖又忠于视频事实。
  • 结果可比对:综合得分与分维度得分榜单化呈现,不同描述策略的优劣一目了然,便于横向选型。
  • 质量与效用挂钩:通过视频生成(LPIPS 最高降 30.88%)与机器人策略(成功率提升 7.5 个百分点)实验证明,更完整的物理描述能直接转化为模型收益。

悟界·PhysCapBench的项目地址

  • 项目官网:https://hfwang2001.github.io/physcapbench-site/
  • GitHub仓库:https://github.com/hfwang2001/PhysCapBench
  • HuggingFace模型库:https://huggingface.co/datasets/hfwang01/PhysCapBench
  • arXiv技术论文:https://arxiv.org/pdf/2611.16424

悟界·PhysCapBench的同类竞品对比

对比项 悟界·PhysCapBench PhysBench
核心定位 评测视频 Caption 对物理信息的覆盖与保真 评测多模态模型对物理常识的理解问答能力
评测对象 描述文本(数据侧) 模型本身(模型侧)
数据领域 第三人称场景、第一人称操作、手持夹爪示范(跨领域统一) 以物理常识问题为主,不针对操作/机器人数据专门设计
评价方式 七维度分物理信息类型打分 + 参考描述对照 问答正确率(客观题形式)
参考标准 基于视频证据构建、人工核验的参考描述 标准答案选项
下游验证 有:视频生成与机器人策略实验 以理解能力评测为主,不直接验证生成/策略收益
核心价值 指导数据标注与训练监督优化 衡量模型物理知识水平

悟界·PhysCapBench的应用场景

  • 世界模型预训练数据优化:筛选和改写视频 Caption,把运动、接触、状态变化等物理经验完整转化为训练监督。
  • 视频生成数据标注:为视频生成模型提供高保真的物理条件描述,提升生成内容与真实物理演化的一致性。
  • 机器人模仿学习数据质检:评估真机/夹爪示范数据的语言标注质量,补充操作过程与结果状态的描述。
  • 具身智能训练指令增强:通过 Training Instruction Upsampler 思路,为策略学习提供更完整的过程监督,提高任务成功率。

来源:AI工具集

#AI工具

免责声明:含第三方意见,不构成财务建议

分享至
X
Telegram
WeChat
QQ
Link
推荐阅读

Step Code – 阶跃星辰开源的终端编程智能体

09-24
Step Code – 阶跃星辰开源的终端编程智能体

Hy4 preview 轻量版 – 腾讯混元开源的Hy4量化压缩模型

09-02
Hy4 preview 轻量版 – 腾讯混元开源的Hy4量化压缩模型

Claude Fable 5.1 – Anthropic 推出的最新旗舰大模型

09-02
Claude Fable 5.1 – Anthropic 推出的最新旗舰大模型

开源版Retool来了,60+组件拖拽搭后台

08-19
开源版Retool来了,60+组件拖拽搭后台

Claude Opus 5来了:半价逼近Fable 5

07-25
Claude Opus 5来了:半价逼近Fable 5

腾讯开源260个真实任务,考AI打工能力

07-25
腾讯开源260个真实任务,考AI打工能力

美团开源AI考场:813个Minecraft任务

07-25
美团开源AI考场:813个Minecraft任务