最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
-
-
【孕妇孕中期】有什么好的方法可以让孕妇在孕中期快速丰胸？
-
川观新闻|交警都震惊了！核载8人的面包车竟然装运了17人
-
-
-
cmos|索尼断供图像传感器太过优越感？小米旗舰先华为一步采用国产CMOS
-
阳光利金星|此时的他已黑化！，王者荣耀S20赛季战令推出马可波罗暗影游猎
-
-
环球网|新安江水库水位已下降12厘米！有个好消息，马上，雨要停一停了
-
央视|云南澜沧4.1级地震：消防100人做好救援准备
-
-
新民晚报|在刘国梁的鞭策下，“小魔王”给自己定了个奥运目标
-
海外网|7月28日香港疫情最新通报：新增106例新冠肺炎病例
-
GAI赚奶粉钱比JonyJ还难|GAI赚奶粉钱比JonyJ还难什么梗?什么情况?终于真相了,原来是这样!
-
娱乐中的趣闻下路换谁都行言论不攻自破，适合IG的只有阿水，英雄联盟：IG双C独木难支
-
「佛朗哥」独裁者佛朗哥遗骸从西班牙“烈士谷”迁出，民意呈两极
-
-
包子不要蒸好保存，教您生胚冷冻保存法，饱满蓬松，和现做的一样
-
AI搞机3Redmi K40曝光，天玑1000+144Hz刷新率，价格有大惊喜
