AI|MIT联合沃森实验室团队推出最新AI 多种高难度乐器信手拈来( 二 )
GAN模型:它以人体特征为输入,通过鉴别其判定其姿态特征所产生的频谱图是真或是假,经过反复训练后,通过傅立叶逆变换将频谱图转换为音频波形 。
SampleRNN:是无条件的端到端的神经音频生成模型,它相较于WaveNet结构更简单,在样本级层面生成语音要更快 。
WaveNet:是谷歌Deepmind推出一款语音生成模型,在text-to-speech和语音生成方面表现很好 。
另外,该模型的优势还在于它的可扩展性 。MIDI表示是完全可解释和透明的,因此可以对预测的MIDI序列进行编辑,以生成AGF调不同风格音乐 。 如果使用波形或者频谱图作为音频表示形式的模型,这个功能是不可实现的 。
文章图片
最后研究人员在论文中表明,此项研究通过人体关键点和MIDI表示很好地建立视觉和音乐信号之间的相关性,实现了音乐风格的可拓展性 。为当前研究视频和音乐联系拓展出了一种更好的研究路径 。
以下为Youtube视频,一起来感受下AI音乐!
https://www.youtube.com/watch?v=bo5UzyDB80E
推荐阅读
- |陈赫鹿晗联合助力 北影节首届游戏动漫电影单元展圆满闭幕
- 科学知识|「图片新闻」兰州市欣欣嘉园社区和倍豪智创科技中心联合开展“探索七彩世界·普及科学知识”实践活动
- 日内瓦联合国人权再发声 呼吁美消除执法中的种族主义
- 中央网信办:互联网联合辟谣平台客户端、小程序上线
- 互联网联合辟谣平台客户端、小程序上线
- 11部门联合开展全国消费扶贫月活动
- 联合国官员呼吁美国消除执法中的系统性种族主义问题
- 建交|中越联合举办建交70周年视频研讨会
- 联合国|联合国官员呼吁美国消除执法中的系统性种族主义问题
- 三江源国家公园|三江源国家公园联合研究专项启动 解青藏高原建园两大问题
