最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
情感日记文字简单，纯粹，知道自己想要什么，真正的成熟
-
-
央视新闻客户端|霞姐带你追火星Vlog丨揭秘“天问一号”如何在太空保持轨道 如何入环火轨道
-
『军事聊聊聊』最值得入手的是它，奇迹暖暖：联盟梦幻工坊34件套装大起底
-
-
偶尔吃一次榴莲会不会胖 偶尔吃一次榴莲会不会胖一点
-
-
李玉成|85岁马玉琴感冒加重，李玉成却被新欢追到家里，网友：丢人现眼
-
-
红酒酒精度高还是啤酒酒精度高 红酒酒精度比啤酒高吗
-
-
-
#国际之识#患者死亡率竟高达50％，英国重症监护房坚持只接受最严重病人
-
热门美剧|官方计划引入新角色，DC剧《蝙蝠女侠》未来：首季女主退出
-
时尚街拍酱搭|舒适休闲，时髦百搭，简单洁白的运动套装穿搭
-
特朗普金色头发变得花白|特朗普金色头发变得花白引发美国网友关注
-
-
吓人|墨香家族祖传厨艺太吓人，魏无羡是食物终结者，谢怜做饭要人命
-
-
曾令旭|又一个小丁？曾令旭开始投篮，媒体人：想拿身体做赌注强行复出！
