谷歌推出全能扒谱 AI：只要听一遍歌曲，钢琴小提琴的乐谱全有了

图片地址：https://img.ithome.com/newsuploadfiles/2022/1/1722bcdc-3997-401b-9e92-da8cb1fec052.png

听一遍曲子，就能知道乐谱，还能马上演奏，而且还掌握“十八般乐器”，钢琴、小提琴、吉他等都不在话下。这就不是人类音乐大师，而是谷歌推出的“多任务多音轨”音乐转音符模型 MT3。首先需要解释一下什么是多任务多音轨。通常一首曲子是有多种乐器合奏而来，每个乐曲就是一个音轨，而多任务就是同时将不同音轨的乐谱同时还原出来。事实上，谷歌 MT3 在还原多音轨乐谱这件事上，达到了 SOTA 的结果。谷歌已将该论文投给 ICLR 2022。还原多音轨乐谱相比与自动语音识别 (ASR) ，自动音乐转录 (AMT) 的难度要大得多，因为后者既要同时转录多个乐器，还要保留精细的音高和时间信息。多音轨的自动音乐转录数据集更是“低资源”的。现有的开源音乐转录数据集一般只包含一到几百小时的音频，相比语音数据集动辄几千上万小时的市场，算是很少了。先前的音乐转录主要集中在特定于任务的架构上，针对每个任务的各种乐器量身定制。