最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
-
-
『苹果』近日，iphone12爆料，果粉的福音来了
-
-
土耳其|延长禁运已无望，美要求中俄不要卖给伊朗武器，否则将面临制裁
-
爱豆|今日份贝贝上班饭拍公开 酷盖的背面是爱你的形状，200809
-
「这些地方最好玩」却少有人使用！，微粒贷“套路”被发现？微信9亿用户远超支付宝
-
-
字母哥|数据狂人！字母哥1成就超越拉里伯德！NBA近40年第二人
-
-
-
-
a6229|古代的圣旨没人伪造吗？岂是一个“奉”字那么简单，别被忽悠了！
-
新华网|中广核巴西公司举行风电扩建项目“云签约”仪式
-
-
【豪情NBA】科比造就了一届最伟大最令人遗憾的名人堂
-
『』10部韩国高分战争电影，让你知道和平是多么的美好！
-
-
表迷|Roger Dubuis罗杰杜彼2020父亲节倾情臻选，芯系腕间
-
穿搭|白色短款T恤衫搭配浅蓝色百褶裙，清纯迷人，少女范十足
