MiniCPM-Robot是什么

MiniCPM-Robot是面壁智能开源的轻量具身智能 VLA 模型系列，包含 1.5B 参数的 MiniCPM-RobotManip 通用操作模型与 0.9B 参数的 MiniCPM-RobotTrack 跟踪导航模型，配套 PhyAI 推理框架。模型采用视觉 Token 压缩与流式上下文记忆技术，支持机械臂长程精细操作与机器狗室内外目标跟踪，可在弱网环境下端侧本地运行，推理延迟低至 120ms，在主流评测中跻身第一梯队。

MiniCPM-Robot的主要功能

• MiniCPM-RobotManip：控制机械臂完成长程操作任务（如做三明治），支持多摄像头输入，具备上下文记忆能力，可记住任务进度与历史动作。

• MiniCPM-RobotTrack：让机器狗根据自然语言指令持续跟踪指定目标，支持单目标跟踪、多人干扰跟踪和模糊目标跟踪，可在弱网/无网环境下本地运行。

MiniCPM-Robot的技术原理

• 视觉 Token 压缩：过滤与任务无关的冗余视觉信息，减少单次推理计算量。
• 流式上下文记忆：复用已处理的历史信息，新画面只需增量计算，避免长任务计算量暴涨。
• 自进化数据管线：在仿真与真实环境中主动暴露模型薄弱环节，收集错误场景进行专家纠偏与闭环训练。

微信关注回复“开源”，加入AI开源项目交流群

如何使用MiniCPM-Robot

• 环境准备：

  • 克隆 GitHub 仓库并安装依赖。

  • 准备硬件：机械臂（RobotManip）或宇树 Go2 Edu 机器狗（RobotTrack）。

• 模型加载：从 Hugging Face 下载对应模型权重。通过 PhyAI 框架加载模型，完成量化与算子优化。
• 摄像头接入：配置腕部相机与主视角相机（RobotManip）或机器狗原装摄像头（RobotTrack）。
• 指令输入：输入自然语言指令（如”跟着前面穿黑衣服的人”或”做三明治”）。
• 一键启动：运行开源脚本，模型接收视觉与语言输入，输出机器人动作指令并执行。

MiniCPM-Robot的核心优势

• 极小参数，第一梯队性能：1.5B 参数在 LIBERO、Calvin、RoboTwin2 等评测中比肩 π0.5 等更大模型；RMBench 上下文记忆得分约 53 分，远超 π0.5 的约 10 分。

• 推理延迟减半：H100 上单帧决策延迟约 120ms，接近 π0.5（234ms）的一半。

• 纯端侧运行：机器狗本地算力即可稳定 5Hz 以上跟踪，断网仍能持续工作。

MiniCPM-Robot的项目地址

• 项目官网：https://github.com/OpenBMB/MiniCPM-Robot
• HuggingFace模型库：
  • https://huggingface.co/openbmb/MiniCPM-RobotManip
  • https://huggingface.co/openbmb/MiniCPM-RobotTrack

MiniCPM-Robot的同类竞品对比

MiniCPM-Robot的应用场景

• 餐饮备餐：双臂机械臂按指令完成取面包、夹生菜火腿鸡蛋等长程三明治制作任务。
• 展厅导览：机器人在无网环境下基于本地知识库完成离线讲解、自由问答与路线规划。
• 园区巡检：机器狗识别车辆违停、路面异常与公共设施问题，敏感画面本地处理不上云。
• 仓储物流：机器人执行货架取放、物料搬运等长程操作，失败时自动重试与恢复。
• 室内外跟随：机器狗根据自然语言指令在电梯、地下停车场等弱网环境中持续跟踪目标人物。