最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
-
-
刘涛,下巴,美人,漂亮,长相,问君,杨颖,天仙,日子,倾国倾城,观点评论,刘涛,杨颖,范冰冰,杨幂,下巴|中国公认最标致的“美人脸”刘涛垫底,第一美到令人窒息
-
-
-
米多哥|幕后推手浮出水面，陆巡从“香饽饽”炒成“鬼见愁”
-
私生饭@表弟道出马蓉内幕，亲弟去世成一生的痛，王宝强儿女被曝美国籍
-
-
归属|妙可蓝多2020年上半年净利润同比增长727.87%
-
尔新军事|谁会毫不犹豫伸出援手？除了巴铁，还有一个国家，假如中国有难
-
特斯拉(TSLA.US)10月德国销量同比增长23.3%，是唯一实现同比正增长的汽车制造商
-
华丽|上棉八厂、中成仓库……宝山这些历史地标“华丽转身”
-
#适合#河北最“适合宜居”的城市，石家庄和张家口落选，外地人纷纷选择在此定居
-
-
-
炎热夏季是高血压的“危险季”，注意好6点，让您放心一夏
-
#赏析#iQOO 3超清美图赏析：一起感受iQOO世界中的速度与光影
-
-
-
启上神兵|起因是买俄制武器，但其实很多事令美不爽，美国又要制裁土耳其了
