温网停赛，想跟费德勒来场单打？AI可以帮你安排一切
近日 ， 网络上出现一幕网球名将“费德勒”同“小威廉姆斯”同场竞技的情景 ， 网球爱好者们纷纷惊掉了下巴 。
文章图片
这场男女单打的破天荒对战 ， 是如何发生的呢？DeepTech几经辗转 ， 摸清了这件事的来龙去脉 ， 原来是一名来自斯坦福大学计算机专业的博士生——张浩天 ， 他和团队使用AI技术生成了上面的场景 。 好奇之下 ， DeepTech联系到了他本人 。 张浩天介绍 ， 该项目的名称为Vid2Player ， 可以让你操控选手并实时生成接近真实的比赛视频 。 除了能让费德勒同小威对战 ， 它还有很多有趣的功能 。 温网破天荒地被取消 ， 多少球迷断供 ， Vid2Player或许不失为一条新的“解渴”路径 。 网球冠军的弟子事情的起因很简单 。 “我个人对视频理解与生成非常感兴趣 ， 尤其是利用已有的大规模视频数据 ， 比如在YouTube平台 ， 来解决现实中遇到的问题 。 ”张浩天说 。 此前他曾做过一个项目 ， 是使用AI技术去分析、理解过去十年来美国主要的三家有线电视网络（CNN、FOXNews、MSNBC）的视频数据中出现的人物及内容 。 由于是严肃的报道内容 ， 不太适合将视频生成技术应用其中 ， 这让他非常遗憾 。 所以在立项之初 ， 他就决定挑选一个适合于做视频生成的领域 ， 后来便选中了体育赛事类视频 。 原因有三 。 首先 ， 体育比赛中包含丰富的人类肢体动作及与相关道具的交互 ， 而且运动员天然遵守比赛规则 ， 有更强的规律性及约束性 ， 这非常适合于做视频生成；其二 ， 这一类素材在网络上非常容易获取；其三 ， 体育赛事的受众很广 ， 因此未来该技术的应用前景更加多元 。 至于为什么选择网球 ， 张浩天笑称 ， 他的博士导师KayvonFatahalian在卡内基梅隆大学读本科阶段 ， 曾经是美国大学生网球联赛（NCAA）的男子单打冠军 ， 是非常优秀的运动员 ， 选择网球或多或少受他的影响 。
文章图片
图|KayvonFatahalian@2000（张浩天提供）Vid2Player从立项到论文定稿 ， 大概经历了一年时间 。 它更多地是基于计算机图形学（ComputerGraphics）来展开 ， 其中用到的最经典的方法是视频纹理（VideoTexture）技术 ， 该技术历史悠久 ， 可以追溯到“拳皇”时代 。 张浩天解释道 ， 根据用户指定的输入 ， 比如想要放一个“大招” ， 程序可以选择对应的视频片段来播放 ， 玩家就可以看到他控制的角色做出了对应的动作 。 “我们使用视频中的已有片段来呈现展示内容 ， 会让生成的视频显得更加真实 。 而假如这个项目使用纯AI技术 ， 就意味着运动员全部由模型通过神经网络生成 ， 目前这类技术尚未成熟 ， 生成的视频可能存在模糊、动作不连贯等问题 。 ”AI技术在Vid2Player的应用主要是负责决策运动员的行为 。 AI会根据当前双方球员的位置及球的轨迹等信息 ， 决定运动员接球的击打方式、落点以及击打后运动员恢复准备状态的位置 。 他们根据原始比赛视频中运动员的历史数据为每一名网球名将训练了这样一个模型来负责控制角色的行为和规则 。 以上两种技术分别负责运动员的外观和行为 ， 再加上一个掌控全局的网球回合状态机（shotcyclestatemachine）——运动员击球前跑位、击球、击球后跑位 ， 周而复始运行 ， 一场完整的网球比赛就此生成 。
文章图片
图|张浩天 ， 2017年毕业于清华大学 ， 后到斯坦福大学继续求学（张浩天提供）自由“操控”网球名将张浩天说 ， 为了最终实现Vid2Player ， 我们需要对从网络下载的视频进行必要的标注工作 。 首先 ， 预先逐帧框选出两个运动员的位置 ， 然后标注遮罩（semanticmask）及姿势的关键点 。 另外 ， 还需要知道球的轨迹 ， 相当于在每一帧标注出球的位置 。 这里有两个很关键的时刻——球被运动员击打的时刻和位置、球被击打出之后 ， 落地反弹的时刻和位置 。 最后 ， 还要对现有视频中网球场地进行三维重建 ， 将2D信息转换成3D的格式 。 值得注意的是 ， 目前每次击球的时间都需要人为手工进行标注 。 张浩天解释道 ， 由于击球的瞬间球速很快 ， 并且球体很小 ， 他们的AI暂时不能很好地定位捕捉 ， 这里的确有待改进 。 除此之外 ， 以上绝大部分的标注工作都可以通过计算机模型自动生成 。 包括张浩天在内的Vid2Player两名主力成员 ， 本次共处理标注了20个小时左右的网球比赛素材 。 此外 ， 为了让输出的网球比赛更加贴近真实场景 ， 他们做了很多的工作 。
文章图片
图|自然化处理 ， 去掉因光线产生的阴影
文章图片
图|自然化处理 ， 在不同场次中 ， 运动员的着装会发生变化 ， 需要进行统一
文章图片
图|因为摄像机的关系 ， 需要将画面不完整的部分补全 ， 例如上图的小腿部分表现层处理完毕之后 ， 需要加入控制层的逻辑 。 张浩天说 ， 之后 ， 你可以像玩游戏一样实时操控一方运动员 ， 改变他的跑位及击球位置 。 Vid2Player中训练的运动员模型可以实现自动针对对方的弱势手、高难度接球、近网的位置截击等等技术动作 。
文章图片
图|AI控制下运动员完成了一次漂亮的网前截击
文章图片
图|有无行为模型对比图比如上图 ， 当程序的行为模型介入之后 ， 成功“扭曲现实” ， 给出更加符合网球策略的击球方案 。 加入状态机的逻辑之后 ， 网球赛中的每个回合都被分解 ， 循环往复串行 。
文章图片
图|红色点为球的落点 ， 蓝色点为运动员击球后站位 ， 这两者都由运动员模型进行决策在这些基础之上 ， 可以做一些非常有意思的事情 ， 比如可以编辑已有的网球比赛 。 下面这个例子是费德勒在2019年温网决赛痛失赛点的一个经典失误 ， 利用Vid2Player可以改变费德勒击球的落点 ， 这一小小的改变足以扭转历史 ， 让费天王拿下2019温网冠军！
文章图片
图|原始视频 ， 球落到了白线之外
文章图片
图|AI生成视频 ， 球落到了白线之内你还可以改变对战双方的运动员 ， 前提是该运动员处于视频集合当中 。 比如开头的费德勒同小威廉姆斯的同场竞技 ， 甚至你还可以请费德勒自己同自己对局 。
文章图片
图|费德勒VS费德勒张浩天还发给DeepTech一则视频 ， 在其中他们限制了费德勒和纳达尔只能用正手打球 。 视频|费德勒VS纳达尔（仅正手）如果你愿意 ， 甚至可以录制一些原始的素材 ， 经由Vid2Player处理 ， 生成同费德勒对战的视频 。 应用前景当DeepTech问及是否考虑未来将Vid2Player应用到游戏当中 ， 张浩天回答道：“现在主流的游戏同我们采用完全不同的技术路线 ， 一般情况下如果游戏厂商要做一款真人网球游戏 ， 他们必须让运动员穿着采集器来建立3D模型 ， 而Vid2Player目前是以纯二维的方式来解决问题 。 ”“我们更多地是从视频生成的角度 ， 解决了生成真人网球视频的问题 。 理论上 ， 这个解决方案也适用于乒乓球和羽毛球的单打比赛中 。 ”“目前Vid2Player所能做的其实比较有限 ， 未来我们考虑让它能够兼容更多种的运动和模式 。 拿篮球运动来举例 ， 届时我们希望它不再需要人类帮助定义状态机 ， 而是让AI自己学会区分不同的状态 ， 如传球、投篮、格挡等等 。 ”视频生成比图像生成要难得多 ， 张浩天说 。 在图像生成领域 ， 利用GAN已经能够生成很真实的图像 ， 如人脸等 。
文章图片
图|由StyleGAN生成的虚拟人像 ， 可以看到已经非常近似于真人但视频生成领域 ， 纯AI的模型还很难生成任意的高像素、逼真的视频 。 其原因在于 ， 视频的复杂度较图像要高很多 ， 当加入时间的维度之后 ， 空间大小暴涨 。 需要无限的模型容量以及无限的训练数据 ， 才可能有一个通用的AI生成视频模型 。 他说 ， 以目前的硬件和算力水平 ， 这个问题尚无法解决 。 目前视频生成领域可以使用AI解决换脸的问题 ， 原因在于脸部其实是一个非常强的约束条件 ， 相比之下 ， 至今还没有一款公开、通用且成熟的能够生成人体全身动作的AI模型 。 “所以 ， 我们的出发点不是一个通用的视频生成模型 ， 而是专注于生成某领域的视频模型 。 Vid2Player因此而诞生 ， 它其实融合了两个领域的技术 ， 一是视频生成 ， 二是统计学意义上的体育视频分析 。 ”张浩天描述道 ， 体育视频分析的商业前景广阔 ， 已经有很多公司在做相关的数据挖掘的工作 ， 比如篮球运动员的罚球命中率、抢篮板数等就是来自于此 。 再比如Vid2Player中用到的预测网球落点的技术 ， 也是关键、且非常热门的技术 。 “但是此前没有人将这两个领域结合到一起 ， 某种程度上我们做了一件前人没做过的事 。 希望未来这项技术可以应用到体育新闻解说或体育教学的可视化中 ， 为受众提供一种全新的体验 。 ”视频|加入阴影和音效的版本视频|张浩天随论文发布的演示视频
文章图片
-End-
文章图片
【温网停赛，想跟费德勒来场单打？AI可以帮你安排一切】
文章图片
推荐阅读
- |穆帅因延误开球被停赛1场，缓期1年执行
- 早报：萨拉赫新冠检测阳性 穆里尼奥欧战被停赛一场
- 中超决赛！恒大6强援候着，苏宁悍将停赛，卡纳瓦罗有望两连冠
- 人类调研所|被前任暴力对待后，我仍想跟他复合
- 一战定乾坤恒大需做好最困难准备，主力停赛苏宁要将稳守进行到底
- 罗体丨多家俱乐部正在推进意甲停赛
- 库尔扎瓦：此前停赛令我能有时间调整，赢球是最重要的
- 任骏飞恶犯追加停赛，粤浙师徒战广东难连胜，杜锋直言双星飘了
- 皮尔洛：我们也想跟那不勒斯踢比赛 米兰排在榜首很公平
- 刘德华|娱记爆料刘德华曾想跟周润发“跳槽”，被后者怒斥：你算哪根葱