中科院自动化所开源紫东太初5.0-9B:9B多模态模型主打空间与具身理解
中国科学院自动化研究所紫东太初团队开源ZDTaichu5.0-9B通用多模态大模型,定位于“面向物理世界的通用多模态大模型”,强调在9B(90亿参数)中小体量下兼顾空间理解与图文识别、OCR(光学字符识别)、数学、代码调用等通用能力。
团队称该模型在九项国际空间理解测试中八项取得同组别第一,并同步开放空间多模态数据生产全流程方案,供外部机构复用。 上述评测排名与落地成效均为团队自述,来源未给出第三方独立验证。
该模型于9月15日正式开源,可在Blog、Hugging Face、ModelScope、GitHub获取。 团队描述其四层思考链条为“识别物体位置—推演三维空间关系—判断操作条件—输出行动决策”,可用于杂乱桌面目标定位、模拟转身视角变换、空闲区域判断,并输出可直接供机器人使用的点位。
模型采用自适应循环推理机制:简单任务直接输出,复杂空间推理任务内部反复推演校验,并设多重保障机制避免无限循环; 复杂长链条机器人任务可接收环境实时反馈更新全局判断。
团队称已在科研自动化与智能制造两类场景完成真实测试,包括调用计算工具求解、交叉校验算法结果、绘制分析图表,以及配合机械臂完成液体转移、跟踪样品位置、调整动作,和在货架拥挤、零件外观相似、物体被遮挡的车间中读工单、取件、避障、放置。 开源内容除模型外还包括空间多模态数据生产管线,涵盖原始素材清洗、样本筛选、标签制作、模型微调、强化学习优化。
此次开源的关键差异不在参数规模,而在开放层级:多数开源模型仅放出训练成品文件,而该团队把空间多模态数据生产全流程一并公开,理论上使机器人企业和科研机构能用自有仿真画面、工厂实拍视频、实验室记录加工训练素材,这直接关系到具身智能研发的数据成本结构。 9B体量面向端侧与机器人本地部署的可行性,也取决于其宣称的自适应循环推理能否在真实任务中控制算力与耗时。
需要区分的是,团队所述的九项测试第一、通用能力“依旧优秀”属自述口径,来源未给出评测机构、基线模型清单或复现材料; 科研与工厂测试为场景描述,未披露成功率、任务量与对照条件。
后续观察信号
- 九项国际空间理解测试具体指哪些基准,由谁组织或维护
- 开源许可证条款是否允许商用以及是否有附加限制
- 是否有机器人或自动化企业公开基于该模型的产品或项目
