最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
-
错误|不管犯了什么错误，都会选择原谅的星座，看看都有谁？
-
思淼谈历史|就在敌人眼皮子下，被炮弹炸伤一声不吭，3500人埋伏19小时
-
-
胖虎追泡泡▲致电美国想要求助，美反问：我们的物资呢？，日本企业停工停产
-
扭牛说电影：看到最后一款：大招范围变大了，王者自带隐藏加成的皮肤
-
-
-
-
这里是厦门|以前的校长都能上课，为什么现在的几乎都不上课，什么变了？
-
富婆|40岁富婆年薪十万招男司机，却无人敢去应聘，到底是为何？
-
-
「武汉」天际线、水岸线、灯光秀、生态绿美不胜收，一片清爽扮靓
-
苏伟|3消息！爆外援引进又要暂停，苏伟亲承恐离队，本土球员有望创史
-
安徽最厉害的县，富裕程度远超芜湖 马鞍山，池州 黄山极具压力
-
周扒皮看热闹|欧拉白猫VS奇瑞小蚂蚁，难分胜负，新能源汽车崭露头角
-
-
编程重度爱好者|新冠肺炎与特朗普：促进C语言登顶Tiobe榜首？
-
里弗斯|里弗斯：小卡的领导力让我想到尤因 G2对手会让我们远离油漆区
-
