AI|MIT联合沃森实验室团队推出最新AI 多种高难度乐器信手拈来( 二 )


GAN模型:它以人体特征为输入,通过鉴别其判定其姿态特征所产生的频谱图是真或是假,经过反复训练后,通过傅立叶逆变换将频谱图转换为音频波形 。
SampleRNN:是无条件的端到端的神经音频生成模型,它相较于WaveNet结构更简单,在样本级层面生成语音要更快 。
WaveNet:是谷歌Deepmind推出一款语音生成模型,在text-to-speech和语音生成方面表现很好 。
另外,该模型的优势还在于它的可扩展性 。MIDI表示是完全可解释和透明的,因此可以对预测的MIDI序列进行编辑,以生成AGF调不同风格音乐 。 如果使用波形或者频谱图作为音频表示形式的模型,这个功能是不可实现的 。
AI|MIT联合沃森实验室团队推出最新AI 多种高难度乐器信手拈来
文章图片

最后研究人员在论文中表明,此项研究通过人体关键点和MIDI表示很好地建立视觉和音乐信号之间的相关性,实现了音乐风格的可拓展性 。为当前研究视频和音乐联系拓展出了一种更好的研究路径 。
以下为Youtube视频,一起来感受下AI音乐!
https://www.youtube.com/watch?v=bo5UzyDB80E


推荐阅读