商汤开源具身评测框架 SenseNova-RoboRSI 与 27B 模型,称任务完成成本为 GPT-6-Astra 的 1/50
商汤对 GPT-6-Astra 的具身能力做了系统实测:允许访问训练集并把步数上限提高至10倍后,RoboDojo 中9个原本5次全失败的任务变为5次全成功,但单任务耗时可达263分钟、估算推理费用55美元。
商汤同步开源评测框架 SenseNova-RoboRSI 与开源具身大脑 SenseNova-RoboRSI-27B-Preview,并称后者任务完成成本为 GPT-6-Astra 的1/50。
上述成本与性能对比均为商汤自述实验结果,尚待第三方复测。
商汤称在12个模拟评测、8款机器人上测试 GPT-6-Astra。 RoboDojo 仿真评测中9个原本5次全失败的任务,在允许访问训练集(In-context Learning,上下文学习)并把步数上限提高到10倍后变为5次全成功; RoboDojo 任务成功率81.9%,LIBERO 与 SIMPLE 表现饱和。
成本方面,叠碗平均测试耗时约131分钟、估算推理费用约19美元; 把笔装进笔筒平均263分钟、约55美元。 GPT-6-Astra 与 𝝅0.5 闭环协作在 RoboDojo 42个任务上成功率54%。 真机实验中,GPT-6-Astra 可直接操作全部受测真机,但在柔性材料操作、精细控制、长序导航上仍有明显差距。
商汤开源 SenseNova-RoboRSI 框架与 SenseNova-RoboRSI-27B-Preview,后者在 RoboDojo 得26.13分、成功率20.83%,LIBERO-Pro 突破90分,RoboCasa365 成功率由26.0%提升至46.5%、Token 开销减少73%。
这项工作的价值不在于又一组榜单分数,而在于把评测焦点从“动作是否成功”推向“完成得多快、花多少钱、是否及时”。 商汤用延长步数把失败翻成成功,恰好说明现有榜单对推理预算敏感,分数可比性依赖测试条件; 其提出的三条评测准则——从人的真实需求出发、经验靠自主交互获得、思考时间计入世界时间——指向仿真榜单与真机部署之间的系统性缺口。
1/50的成本说法若能在开源框架上被社区复现,才会成为可比较的工程基准,否则仍属单方口径。
后续观察信号
- SenseNova-RoboRSI-27B-Preview 的技术报告与权重是否同步开放
- 商汤所称1/50成本的具体计算方式与硬件配置
- 第三方对 GPT-6-Astra 具身能力的独立评测是否出现
