另外 ， 这样的帧到帧映射模型不能转换时长 。 而实际情况是有的人说话比较快 ， 有的人说话比较慢 ， 怎么把说话人的语速特点体现出来呢？
这是我们设计的模型结构 。 模型输入除了从源说话人语音中提取的声学特征序列外 ， 还拼接了利用语音识别声学模型提取的文本相关特征 ， 以协助序列对齐 。 模型输出就是从目标说话人平行语句中提取的声学特征序列 。 其中输出与输入序列长度并不一致 。
以下是实验结果 。 图中横坐标是真实目标说话人语音的时长 ， 纵坐标是转换后的语音时长 。 如果语音转换模型有比较好的时长调整效果 ， 那么数据点应该落在对角线上 。 图中绿色点所示的是传统逐帧转换方法的结果 ， 从中可以看出源与目标发音人之间显著的语速差异 。 红色点对应的是所提出的序列到序列语音转换方法 ， 可以看出其取得了良好的时长转换效果 。
已有的非平行语料语音转换大体上有两个思路：
基于非平行数据构造平行数据 。 构造方法包括语音合成、帧挑选等 。 CycleGAN神经网络模型也可以归入此类方法 。
分离语音中的文本与话者表征 。 包括利用语音识别器提取音素后验概率(PPG)的方法 ， 以及基于自编码器与变分自编码器的方法等 。
推荐阅读
-
父亲觉得法院工作事少来钱快，希望我找一个法院的工作，应该怎么样和父亲沟通
-
魅力|细跟鞋衬托出女人的高雅姿态，散发出时尚的魅力。
-
[快速]?湖北省副省长杨云彦：湖北省疫情快速上升的势头得到遏制
-
-
『阿里巴巴集团』马云与阿里巴巴公益基金捐赠日本口罩 东航11小时送达
-
-
-
-
宫闱逸事|她入宫参加选秀，却不了皇帝提前去世，无奈改嫁王爷幸福一生
-
『洪峰将在2至3天内抵达武汉』洪峰将在2至3天内抵达武汉，主要控制站水位均将位居历史前列
-
-
胡玲|10月6日日经225指数开盘上涨0.34%，韩国Kospi指数上涨0.47%
-
-
-
军中三剑客|十多个邦进入紧急状态，呼吁边境和平撤兵，印度5万公顷农田被毁
-
上海市|刮风对钓鱼究竟有啥影响？三大优势，层层分析
-
晓谷会计微服务|税负率过低就会被查？老板必须了解的干货
-
王书麒|碾压TVB！香港民间电视大奖赛果揭晓，ViuTV再成最大赢家
-
流浪地球2|再看《都挺好》：苏明成被侮辱一天两夜，才是朱丽执意离婚的真相
-
中国新闻网|海南省劳动行政部门：椰树集团部分招聘条款违反劳动合同法
