8月12日，成都人形机器人创新中心（以下简称“创新中心”）在四川成都发布了我国首个机器人多模态模型以及双臂协作系统。该模型能够使机器人理解、推理抽象的语义指令，并调度双臂协作系统执行任务。
　　多模态数据协同推理是指融合两种或两种以上不同感知来源，进行综合推理，并完成复杂任务的过程。创新中心研究人员将多模态应用于人形机器人领域，使机器人融合图像、语义、力感知、环境感知等多种因素，综合判断、生成任务并执行。这是人形机器人具有自主思考能力的关键核心技术。
　　创新中心董事长张睿睿介绍，语义指令包括相对明确地将饮料和非饮料进行区分和分拣，也包括相对抽象地将圆柱体和长方体物体、可食用和不可食用物品进行区分和分拣。完成以上任务，需要机器人通过多模态模型自主对所有物品进行提取归纳。特别是对多个相似瓶子形状的物体，机器人需进一步通过瓶身包装上的文字、图片等要素综合判断其是否为可食用物品而非化妆品等非食用瓶装物，才能完成任务。
　　“多模态模型的发布，不仅加速了‘AI物理化’的进程，也让人形机器人从‘预设摆拍’‘遥控操作’进化到拥有更强的‘大脑’和自主执行能力。”张睿睿表示，下一步，创新中心将继续深化技术研发，不断优化多模态模型与双臂协作系统的融合应用，提升人形机器人在复杂环境中的感知、决策与执行能力。