最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
-
智通财经|净亏损148.4万美元，龙运国际(LYL.US)2020财年年报：营收同比下滑99.6%
-
-
-
|军中女贪高小燕：靠“独门秘诀”征服领导，花大价钱升少将军衔
-
寿乡散人|当年多大岁数，有人说只有15岁，给八百壮士送国旗的杨惠敏
-
-
小米|小米第一台5G手机被弃：小米MIX3 5G无缘升级MIUI 12
-
新药创制专项最后一款药上市 诺诚健华商业化阶段开始
-
雷达通信电子战：雷达回波模拟器在汽车雷达测试中的应用
-
-
#唐小姐美食记#没花多少钱，朋友圈纷纷评论：小日子让人羡慕，我家早餐这样煮
-
G时尚|一身银黑拼接抹胸长裙，呈现曼妙身材，白鹿活动造型
-
-
惊慌薄情|全锦赛前瞻：两大主力或缺席,陈梦需证明自己,孙颖莎志在卫冕
-
阿森纳▲后腰对一支球队有多重要？从阿森纳的坠落说起
-
-
-
辣椒酱|7月底，正当吃的菜，润肠还通便，腌着吃特香，错过要再等一年
-
游戏测评路人君|这类游戏究竟哪里值得玩？，沈腾代言奇迹游戏广告刷屏
