理解自然语言实时感知场景，云深处机器狗配备“AI大脑”

中国经济导报、中国发展网 记者崔立勇报道

近日，云深处科技首次公开机器狗与浙江大学“AI大脑”合作最新成果，基于大模型的机器人智能决策系统“机器人云脑”为X30机器狗赋能“大脑”，搭载该系统的X30机器狗不仅可以开口说话，理解人类自然语言，还学会了识别理解抽象图像，欣赏梵高画作，感知并抚慰人类情绪。

AI大脑+云深处机器狗识别梵高画作

大模型+机器狗向“具身智能”探索前进

此次合作由云深处科技与浙江大学团队联合开展，“机器人云脑”结合了不同规模的大语言模型（LLM）、视觉语言模型（VLM）以及视觉语言行动模型（VLA），率先在四足机器人上整合大模型、同步定位与地图构建技术（SLAM）、腿足控制等跨学科工程技术，大幅提升了四足机器人的环境感知与自然语言交互能力，向“具身智能”与“智能体”探索前进。

联合实验中，搭载“机器人云脑”的X30机器狗实现自然语言语义理解与交互，与人类对答如流，同时能够实时感知场景，识别并理解随机物体及抽象图画。在测试中X30机器狗认出了梵高的画作《星空》，还秀了一把艺术天赋，为主人专业地解说了这幅世界名画的风格与特点。在一名表情沮丧的工作人员面前，感知到人类情绪的X30机器狗不仅摇头摆尾进行鼓励，还给到许多舒缓心情的科学建议。

AI大脑+机器狗识别人类情绪

云深处AI+计划

人工智能+机器人将实现AI与外部世界进行实体互动，为人工智能的交互能力带来革命性潜力，是AI应用的重要形态。在生活场景，能够进行自然语言理解与交互的机器人有可能成为“家庭成员”，陪伴照看人类；在工业领域，机器人将具备更丰富的输入源分析处理能力，从而对图像、声音、温度、空气质量等各类传感器数据做出更高效科学的规划与决策，提升作业精度和可靠性，同时降低运营和维护成本。

云深处正开展“云深处AI+计划”，集成AI功能与机器人软件系统，持续赋能具身智能。今年的WAIC集中展示了云深处通过新的AI和软件系统的众多训练成果未来，“云深处AI+计划”还将扩展到感知、规划、决策以及人机交互能力。大模型优秀的决策规划和学习能力将有希望解决罕见而棘手的corner cases问题，提升机器人的智能化水平，降低机器人使用者的操作和学习门槛。