语音合成论文优选:Anyone GAN Sing

声明:语音合成论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法。如有转载,请标注来源。

欢迎关注微信公众号:低调奋进

Anyone GAN Sing

本文为印度金奈SRM科技学院计算机科学与工程系在2021.02.22更新的文章,主要提出了ConvLSTM(convolutional Long Short-term Memory)来优化WGANsing歌唱合成系统,具体的文章链接

https://arxiv.org/pdf/2102.11058.pdf (我个人感觉比较有意思的是ConvLSTM的提出)

1 研究背景

歌唱合成相比TTS来说更加复杂,它需要考虑更加复杂的pitch和韵律变化等等因素。目前已经有很多的歌唱合成方案,本文主要是在基于Gan的WGANSing架构上进行优化,使合成的歌曲更加自然。(主要贡献点是ConvLSTM替代CNN)

2 详细设计

本系统是GAN的系统,主要包括生成器G和辨别器D,其LOSS为公式1,为了避免梯度消失等不稳定问题,本文使用Wasserstein-GAN,公式为2-5。

接下里主要说ConvLSTM的结构,图1位LSTM的结构,图2位CNN的结构,两者一结合形成图3 convLSTM的结构。其中本文系统的生成器架构为图4所示,整个系统架构为图5所示。和WGANSing不同之处就是使用ConvLSTM替代CNN。

3 实验

本文和WGANSing做比较,在客观指标对比table1所示,CovLSTM好于WGANSing。在主观评测图6,图7和图8,CovLSTM也是好于WGANSing。

4 总结

本文主要提出了ConvLSTM(convolutional Long Short-term Memory)来优化WGANsing歌唱合成系统,使其客观和主观指标都得到提升。

欢迎关注微信公众号:低调奋进

猜你喜欢

转载自blog.csdn.net/liyongqiang2420/article/details/114094794
GAN