另外 ， 这样的帧到帧映射模型不能转换时长 。 而实际情况是有的人说话比较快 ， 有的人说话比较慢 ， 怎么把说话人的语速特点体现出来呢？
这是我们设计的模型结构 。 模型输入除了从源说话人语音中提取的声学特征序列外 ， 还拼接了利用语音识别声学模型提取的文本相关特征 ， 以协助序列对齐 。 模型输出就是从目标说话人平行语句中提取的声学特征序列 。 其中输出与输入序列长度并不一致 。
以下是实验结果 。 图中横坐标是真实目标说话人语音的时长 ， 纵坐标是转换后的语音时长 。 如果语音转换模型有比较好的时长调整效果 ， 那么数据点应该落在对角线上 。 图中绿色点所示的是传统逐帧转换方法的结果 ， 从中可以看出源与目标发音人之间显著的语速差异 。 红色点对应的是所提出的序列到序列语音转换方法 ， 可以看出其取得了良好的时长转换效果 。
已有的非平行语料语音转换大体上有两个思路：
基于非平行数据构造平行数据 。 构造方法包括语音合成、帧挑选等 。 CycleGAN神经网络模型也可以归入此类方法 。
分离语音中的文本与话者表征 。 包括利用语音识别器提取音素后验概率(PPG)的方法 ， 以及基于自编码器与变分自编码器的方法等 。
推荐阅读
-
-
微信永久封号怎么办？微信社交场景被限制处理方法汇总
-
-
-
-
复方板蓝根对新冠病毒有效|钟南山院士：初步发现复方板蓝根对新冠病毒有效
-
关节骨头|骨病钟情的六大人群，你是否也加入了这个行列？
-
小雨玩创新▲OPPO两款新品表明转型决心，不再是一家纯粹的手机公司
-
曹操为什么在赤壁之战中败得一塌糊涂,曹操为什么在赤壁之战打了败仗-
-
港府发公报强烈谴责！外交部：英国和澳大利亚到底想干什么？
-
科技|晶澳科技实际控制人被立案调查，前三季度业绩曾超预期
-
游戏日报|谁会大卖？他直接让公司破产，王者荣耀：如果英雄接代言
-
-
喵喵娜星座|爱情事业顺顺利利，一生平稳，靠细节取胜的星座
-
雄鹿队|超级大冷！30+20+16！三核暴走，巴特勒打爆字母哥，雄鹿要被横扫
-
有种致命的粗心叫作“把直肠癌当痔疮”，3个区别要搞清楚
-
甜馨|李小璐拉着女儿拍视频，超长美甲却划到了甜馨的脸
-
-
-
