音乐人|AI 已能按音乐风格填词，周杰伦又有御用作词了？

虽然
AI在艺术领域
一直有不少
争议
，但它一直也没停下各种尝试的步伐：
写歌、画画、写诗……这不，刚又学会了
填词
。
我们给这个AI放了一首钢琴曲，曲调非常悠扬平和。
然后，它生成的部分词是这样的：

文章插图

各位感觉如何？
其中，生成过程的动态效果看着还不错：

文章插图

当然，它可以很好地
分辨不同风格
的音乐：给安静的钢琴乐生成的词与给嘈杂的摇滚乐生成的会完全不一样。
不过，鉴于目前的填词效果（比如有时无厘头的上下衔接），研究人员也表示：
这个工具也不是为了取代音乐家，而是成为一个
激发音乐家创作灵感
的工具，辅助他们创造出满意的作品。
ps.此处在线cue周杰伦，御用词人试试AI？

文章插图

如何分辨出不同风格的曲子？
这项研究来自滑铁卢大学，研究成果即将发表在ICCC2021。
项目的动机源于其中一位研究员的个人兴趣。
这名研究员非常喜欢音乐，所以她很好奇机器是否可以生成听起来像她最喜欢的音乐艺术家风格的歌词。
最终做出来的系统叫做
LyricJam
，已有在线网页版供任何感兴趣的音乐人访问使用。

文章插图

该系统通过
将原始音频文件转换为频谱图
，然后使用深度学习模型实时生成与音乐相匹配的歌词。
模型的架构由
两个变分自动编码器
（VAE）组成，一个用于学习音乐音频的表示，另一个用于学习生成歌词。

文章插图

训练数据集由18000个原始歌曲的WAV音频片段和7种音乐艺术家的相应歌词组成。
首先使用CNN来
根据频谱图
将带歌词的音频，
按风格分类
成不同"艺术家"。
然后训练一个条件VAE(conditionalVAE，CVAE)"重建"原始歌词，根据不同类型音乐的歌词用词和表达方式的不同，生成一系列连贯的新歌词。
其中生成条件是前面预先训练的"艺术家"种类。
推理阶段，流程差不多：系统将实时录制的音频片段转换成频谱图，然后进行风格识别，为了生成最匹配的歌词，需要根据"艺术家"的类别从潜在空间中采样并对其进行解码，然后生成对应的歌词表达。

文章插图

最后，使用基于GAN的对齐模型来
对齐
两种编码器生成的
歌词和音频表示
。
最终效果如何呢？
"非批判性的即兴演奏伙伴"
为了评估他们开发的系统，研究人员进行了一项简单的用户研究，请来一批搞音乐创作的人来测试。
测试要求音乐人现场演奏音乐并分享他们对系统所作歌词的反馈。
首先确定该系统是否能更准确地生成与音乐所产生的情绪相匹配的歌词。
研究人员选用了5种不同乐器演奏的不同歌曲的片段，每段约10秒，用该模型的两种变体（下图中每组的第二三行）各生成一行歌词，再用一个基线模型（下图中每组第一行）生成歌词。
生成示例如下：

文章插图

测试者需对以上3种词，进行打分，选出最匹配当前音乐的一种。
总共有15个人参与了这项研究，从下表可以看出，无论播放的歌曲类型如何，用户都更喜欢后两个模型的歌词，而非基线模型的。