最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
-
苹果笔记本苹果 MacBook 12 配置曝光：搭载 A14X 芯片，或 799 美元起
-
新华网■贸发会议：疫情对全球外国直接投资冲击恐超金融危机
-
-
暴躁韩感情巴士|自己买房让岳父母拿钱，还嫌女方没人情味，丈夫一心补贴原生家庭
-
-
美国|张召忠：中国到了是时候要准备“打仗”的时候了
-
华哥说美食每天吃一点，美白润颜，脸蛋红润有光泽，它是“天然的异黄酮”
-
港口|大爆炸近一个月后，贝鲁特港口区又发现四吨多硝酸铵
-
娱号|！，中国最有钱的80后富婆：每天收入7个亿，身价相当于刘强东4倍
-
-
-
潘仁美射杀杨七郎，历史根本不是这样，盘点那些历史不存在的人物！
-
-
张嘉倪|买超出轨实锤了，张嘉倪太难了，婚变传闻看来是真的啊
-
加厚水杯什么材质好一点耐用 加厚水杯什么材质好一点
-
不适合养在客厅的“3类花”，若有最好移出去，别忽视
-
「林有有」把三观按在地上擦，影视剧中极品绿茶，林有有居然有点嫩
-
-
