最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
有种致命的粗心叫作“把直肠癌当痔疮”，3个区别要搞清楚
-
曹操为什么在赤壁之战中败得一塌糊涂,曹操为什么在赤壁之战打了败仗-
-
小雨玩创新▲OPPO两款新品表明转型决心，不再是一家纯粹的手机公司
-
-
游戏日报|谁会大卖？他直接让公司破产，王者荣耀：如果英雄接代言
-
科技|晶澳科技实际控制人被立案调查，前三季度业绩曾超预期
-
-
雄鹿队|超级大冷！30+20+16！三核暴走，巴特勒打爆字母哥，雄鹿要被横扫
-
-
-
-
微信永久封号怎么办？微信社交场景被限制处理方法汇总
-
-
复方板蓝根对新冠病毒有效|钟南山院士：初步发现复方板蓝根对新冠病毒有效
-
关节骨头|骨病钟情的六大人群，你是否也加入了这个行列？
-
-
-
喵喵娜星座|爱情事业顺顺利利，一生平稳，靠细节取胜的星座
-
甜馨|李小璐拉着女儿拍视频，超长美甲却划到了甜馨的脸
-
港府发公报强烈谴责！外交部：英国和澳大利亚到底想干什么？
