|跟郎朗媳妇有得一拼的AI，只看弹琴动作，完美复现原声|CVPR 2020( 二 )
本文插图
将 Midi 作为输入 ， 经过一个上采样 ， 而后可以选择通过「Midi 合成器软件」 ， 也可以选择使用「PerfNet+Unet+GriffinLim」的组合方式来生成音乐 。
至于 Audeo 方法与其它方法的定量比较 ， 主要集中在第二个核心步骤 。
本文插图
可以明显看到 ， 研究人员在第二步骤中提出来的 Roll2Midi Net方法 ， 在各项评测指标中 ， 都具有一定优势 。
合成音乐还可以转换成别的乐器
当然 ， Audeo 除了精准复现视频中的钢琴音乐外 ， 还有一个更有意思的玩法 。
它可以将钢琴原声 ， 转换成其他乐器的声音 。
例如 ， 可以将钢琴音乐转换成吉他的声音 。
本文插图
还可以将钢琴音乐转换成日本十三弦古筝的声音 。
本文插图
这个有趣的玩法 ， 主要得益于「合成音乐」这个步骤 ， 选择的方法不同 ， 得到的结果便不同 。
研究团队
这项研究由华盛顿大学的三位研究人员共同完成 ， 研究还入围了本届CVPR 。
本文插图
△从左至右：Kun Su、Xiulong Liu和Eli Shlizerman
论文一作是Kun Su ， 本科就读于美国纽约州伦斯勒理工大学（RPI） ， 目前在华盛顿大学攻读电子与计算机工程系攻读硕士 。
本文插图
△Kun Su
研究的另一位作者是Xiulong Liu ， 本科在上交大就读 ， 硕士毕业于华盛顿大学 ， 目前在OneClick.ai 担任数据科学家 。
本文插图
△Xiulong Liu
论文最后一位作者是Eli Shlizerman ， 华盛顿大学应用数学及电子与计算机工程助理教授 。
目前专攻生物神经网络和人工神经网络的基本特性 ， 通过结合时空数据分析、机器学习和动力系统理论的方法将这两个系统联系起来 。
本文插图
△Eli Shlizerman
那么问题来了 ， 如果以郎朗的手速弹奏钢琴 ， 这个AI的效果还会如此惊艳吗？
传送门：
论文地址：https://arxiv.org/abs/2006.14348
— 完 —
量子位 QbitAI · ***签约
关注我们 ， 第一时间获知前沿科技动态
