具身智能、多模态大模型……盘点杭州亚运会上的五大“最黑”科技

“与历届亚运会相比,杭州亚运会很可能是最智能的一届。”是亚奥理事会代理总干事维诺德在接受媒体访问时的评价。

杭州亚运会于10月8日晚正式闭幕。中国队以201枚金牌创下新纪录,相较201枚金牌,杭州亚运期间的各类智能应用和科技范儿也同样闪耀。

据亚运会官方数据,本届亚运会有近20项首推、首创、首用的应用和科技,接下来我们将介绍其中最为突出的五个科技应用及其背后的技术细节。

一、最“暖”黑科技--智能爱心辅助助手“未名”

杭州亚运会举办期间,在杭州市的一些亚运会志愿者服务点,有一款机器人外观的智能体在为视力障碍人士服务。

“未名”来自未名湖畔的北京大学。在北京大学黄铁军教授及仉尚航研究员的指导下,北京大学庄棨宁学生团队打造了具身智能机器人软件服务系统“未名”,用于亚运会期间的导航指引与帮助服务,还获得了人民日报的“点名”。

“未名”和以往所有的传统机器人不同,它基于庄棨宁学生团队自研的感知生成一体化多模态大模型,能够精准地感知与理解场馆内外的视觉场景,生成准确丰富的语言描述,实现从人类复杂指令到具体行动的转化,并基于端云协作大小模型的协同高效微调,提升模型的泛化性,使其可以快速适应新场景。

据悉,这套系统可以为观众提供导览服务,协助视障人士进行引领和导航,解析视障人士需求并完成相应任务,帮助视障人士捡拾掉落的物品等。

二、最“显眼包”黑科技——捡铁饼机器狗

在杭州亚运会田径赛场,几只来来回回运送铁饼的机器狗成为赛场“显眼包”。

这是在亚运会上运输铁饼的“机器狗”。每只狗的背上都装有卡槽,可以负重1-2公斤重的铁饼,在预先设定好的线路上迅速运送体育设备,完成任务之后,机器狗们会“趴”在场边等待指令。此外,个头较小的机器人还可以完成前扑、坐下、作揖等动作。

据了解,机器狗每次往返的平均距离约120m,按照一场比赛往返60次来计算,相当于以往铁饼比赛中工作人员超过7000m的工作量,有了机器狗往返运输,就可以大大解放工作人员了。

三、最“私人定制”黑科技--高速运动AI 解说系统

亚运赛场不仅有机器狗捡铁饼,还有AI做赛事解说。

这套由北京大学棨宁学生团队打造的高速运动AI 解说系统,通过高速摄像机的脉冲信号检测场景物体和运动员,将能够捕捉体育比赛中的关键时刻,并生成高质量的集锦和相关数据,基于多模态大模型算法和深度学习模型对这些运动数据进行分析,基于分析结果,系统再生成提供实时的个性化解说服务,从而为各个语种的观众都能提供个性化的体验。

以乒乓球赛事解说生成为例,画面中两个人正在打乒乓球,系统可以捕捉和理解运动员的3D 姿态、也可以对球的轨迹做分析,并生成精准描述。

更值得一提的是,这是多模态大模型技术首次在国际大型综合性体育赛事中的落地和尝试。

四、最“快”黑科技——AI智能剪辑

众所周知,本届杭州亚运会核心系统实现了100%上云,这意味着同一场比赛,通过云平台可以生成不同版本,更重要的是,一种全新的视频剪辑方式也有了实现的可能。

据了解,亚运会媒体中心使用的阿里云AI智能剪辑,可以一键自动剪接多角度镜头,添加字幕转场等效果。

举例来说,原本剪辑100 米自由泳比赛集锦视频需要在全景、近景、特写镜头之间来回切,现在只要选中选手就能一键生成多轨合一的镜头,再根据背景音乐加入慢动作的特写镜头、校对 AI 生成的字幕,一条又快又好的视频就完成了。

五、最正直黑科技——AI裁判

传统的人类裁判可能会因为视角、视线遮挡或是瞬间的判断失误而错过某些行为,而AI裁判则可以通过多个角度和高帧率的摄像头实时捕获细节,确保决策更加准确。

据官方披露,本届亚运会引入了AI裁判评分技术,为比赛提供了更公正、准确的判罚。

AI裁判系统通过AI红外追踪技术,配合自动生成的打分系统,为每位选手进行打分。AI裁判还会会对选手的各项身体参数和动作角度进行分析,根据国际标准完成打分,

AI裁判不受情感、压力或任何外部因素的影响,完全基于事实和预定规则进行判决,堪称最“正直”的科技。

期待这些黑科技产品逐渐渗透到普通用户的生活中,为我们的生活带来更多便利、效率和可持续性。