最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
-
蚂蚁金服|狂轰44+14+6！湖人三状元大爆发，霍华德肆虐暴扣，超人回来了
-
光明网|冷冷冷！小雨+冰雹，最低气温降至13℃，你的长袖准备好了吗？
-
浙江|（文化）浙江衢州发现西周时期“百越”高等级墓葬群
-
-
问董秘|完全没有发展方向，现在股东弃公司而去，开始大幅...，投资者提问：贵公司上市四年
-
-
国家知识产权局专利局专利审查协作天津中心项目主体完工
-
我爱追港剧|前女友大谈与金刚分手原因：他40岁了想结婚！扬言“不会复合”
-
王者小数点|练好王者就是囊中之物，王者荣耀：边路玩家一定要买的18888英雄
-
沙丘2|2023电影推荐|海王2|沙丘2|速度与激情10|闪电侠|上映时间一览
-
YOUNGer体育|20年前也曾是“拜金四少”，《人民日报》点名表扬的37岁中超老将
-
#勒马尔#9000万镑转会失败！法国天才后悔没加盟红军，本赛季颗粒无收已彻底沦落
-
高德地图|清明假期打车高峰将提前至凌晨4时！高德48小时免佣鼓励司机出车
-
星座小知识分享@八方来财，惊喜连连的3大生肖，未来15天
-
伊能静|伊能静发泪目视频配伤感文案，被疑产生婚变，发律师函回应：闲的
-
到现在你还分不清假玉石和劣质玉石？不知道的人早晚会被骗
-
-
-
