江苏龙网

  1. 首页 > 人文 > >

阿里斩获AI领域“奥斯卡”四项冠军，新研究可预测视频目标位置

业界普遍认为 ， 视频分割技术将成为线上会议、直播、自动驾驶、影视制作等场景的标配 。 例如直播场景使用阿里AI算法 ， 可以实现一秒钟替换背景；在自动驾驶中 ， 视频分割也是自动驾驶系统识别障碍物的关键技术 。 因此 ， 视频分割技术将会和我们更加息息相关 。
近日 ， 全球计算机视觉顶会CVPR2020（CVPR ， 即IEEE国际计算机视觉与模式识别会议）公布各大挑战赛结果 ， 阿里巴巴（以下称“阿里”）获得四项比赛的世界冠军 ， 其中 ， 在难度最高的DAVIS（DenselyAnnotatedVideoSegmentation ， 密集标注视频分割）挑战赛中 ， 阿里提出了可以精准预测视频目标位置的方法 ， 并且首次以超过80分的成绩夺得第一名 。
CVPR是AI领域规模最大的会议 ， 被誉为计算机视觉领域“奥斯卡” ， 其范围涵盖计算机视觉领域的前瞻学术研究和工业应用 ， 会议的研究成果体现着视觉AI领域研究的趋势 。 由于视频会议、直播等应用逐渐普及 ， 2020年顶级科技公司的研究成果逐步从图像延伸到视频领域 ， 涉及视频压缩、视频分割、三维视觉等领域 。
和图像识别不同 ， AI分析理解视频的技术门槛更高 ， 长期以来 ， 业界在视频AI技术的研究上鲜有重大突破 。 以CVPR会议难度最高的比赛之一DAVIS为例 ， 该比赛需要参赛团队精准处理复杂视频中物体快速运动、外观变化、遮挡等信息 。 过去几年 ， 全球顶级科技公司在该比赛中的成绩从未突破80分 。
据介绍 ， 阿里参加的四项比赛均为视频技术领域 。 在DAVIS挑战赛中 ， 阿里达摩院团队率先实现突破 ， 力压悉尼科技大学ReLER实验室 ， 以84.1的分数获得了第一名 ， 比2019年第一名的中兴和华中科技大学联合团队高出7.4分 。
阿里斩获AI领域“奥斯卡”四项冠军，新研究可预测视频目标位置
文章图片
图|阿里AI以84.1分的成绩斩获DAVIS比赛第一名
具体来说 ， 阿里参与的是DAVIS半监督赛道 。 要求是假设用户不与算法交互以获取分割掩膜 ， 输入值只给出第一帧的正确掩膜 ， 算法需要在后续每一帧中实现对单个或多个目标的分割 ， 也就是要把目标的像素标注出来 。
如上图所示 ， 衡量分割准确率有两种标准 ， 分别以J和F为代号 ， 代表区域相似度（RegionSimilarity）和轮廓准确度（ContourAccuracy） 。 前者测量正确像素的标注数量 ， 后者测量目标轮廓的分割有多精准 。 最终成绩是J和F标准的综合分 。
公开资料显示 ， 在现有的STMVOS方法（利用空间-时间记忆网络分割视频目标）基础上 ， 阿里提出了一种全新的空间约束方法 ， 打破了传统STM方法缺乏时序性且会受到相似目标误导的瓶颈 ， 可以让系统基于视频前一帧画面预测目标物体下一帧的位置；此外 ， 阿里还引入了语义分割中的精细化分割微调模块 ， 大幅提高了分割精细程度 。 最终 ， 精准识别动态目标的轮廓边界 ， 并且与背景进行分离 ， 实现像素级目标分割 。
阿里斩获AI领域“奥斯卡”四项冠军，新研究可预测视频目标位置
文章图片
图|阿里AI可以基于视频前一帧画面 ， 精准预测目标物体下一帧的位置
作为对比 ， 今年DAVIS挑战赛第二名ReLER实验室提出的CFBI+算法 ， 原本领先基础STMVOS算法近10分 ， 但阿里团队使用空间约束方法、新型训练策略和微调等技术 ， 将基础算法的表现大幅提高了12分 ， 摘下桂冠 。
在另外两个比赛 ， HACS人类动作短视频识别和DeepFashion服装识别中 ， 阿里团队也获得了第一名 。
【阿里斩获AI领域“奥斯卡”四项冠军，新研究可预测视频目标位置】除获得四项比赛冠军 ， 阿里还有17篇论文入选CVPR2020 ， 其中包括一篇自动驾驶领域的研究成果 ， 该论文提出了一个通用、高性能的自动驾驶检测器 ， 首次实现3D物体检测精度与速度的兼得 ， 可以有效提升自动驾驶系统安全性能 。
目前 ， 阿里视觉AI技术已在全球率先实现大规模落地 。 例如 ， 城市大脑、拍立淘、优酷视频等阿里集团内部业务场景均已大规模使用该技术；阿里CT影像AI已经服务全球600多家医疗机构 ， 疫情期间已完成50余万例病例临床诊断 。


    推荐阅读


    上一篇：第四届“芯动北京”中关村IC产业论坛8月在京举办

    下一篇：从Java EE到Jakarta EE，最终过渡版本发布首个里程碑