复活唐音，是一味怎样的菜？-创新互联

启功先生说，唐诗都是嚷出来的。

但大唐盛世的风流才子们，坐在一起嚷嚷，这画风显然十分违和。所以更准确地说，唐诗是唱出来的。

王之涣与高适、王昌龄共饮，最后听歌女唱《凉州词》的故事家喻户晓;李白的《战城南》《将进酒》等都是直接化用汉乐府;刘禹锡的《竹枝词》直接就是南方山野民歌。

这些诗人都用逻辑告诉我们，唐诗是有曲的，能唱的。那么问题来了，1300多年过去了，这些唐曲今安在?

最近华为Mate 20 Pro研发团队和上海音乐学院赵维平教授等研究人员合作，完成了一次尝试：通过AI技术和华为Mate 20 Pro提供的终端AI算力，联手“再现”了唐诗背后消失的音符，让唐曲在耳边回响。

这里想为大家讲解一下这道“唐味大菜”的做法。或许很多朋友都曾有这样的疑问：AI听起来很厉害，实际到底能干嘛?

答案呢，也许就在《春江花月夜》的某个韵脚里。

唐音在哪里?

夏天到了，喜欢古音律的小伙伴们准备出门寻找食材。通常来说他们会发现，唐代音律简直比松茸还难采。

中国一直是个注重音律，且善于记载音律的国度。新石器时代出土的编钟，其实就是对当时古人所感知音律的“石制内存”。而早在《管子》中，就已经有了对“宫商”概念的记载和准确描述。

历朝历代关于音律的记载并不少。但唯独到了唐朝，这个繁盛的朝代或许是因为包容性太强，不喜欢一板一眼记录音律这种事。最终唐代音韵变成了一个“文献黑洞”。隋有“刘焯律”，五代有“王朴律”，唐代应用特定音律的制度却少有记载，几乎只能从民间音乐、西域中亚音乐中搜寻一星半点盛唐的影子。

还有一种可能，就是从中古时期的文献里寻找唐音。由于缺乏直接文献记载，学术界往往只能依靠古曲谱来恢复唐音。“近代以琴律考证各代律制的研究颇有成效。但目前尚无传世的唐代琴谱，只有南朝的梁丘明所传之《碣石调·幽兰》谱系唐人所抄，可算唐谱。这是目前唯一唐代实际用律的佐证。”

这个《碣石调·幽兰》可就厉害了，它不仅是目前唯一存世的唐代曲谱实物，并且还是唯一存世的古曲文字谱。

之所以《碣石调·幽兰》是唯一的文字谱，并非因为其他古谱都被毁弃，而是因为自中晚唐之后，曲家开始通用减字谱来记录琴曲。

所谓减字谱，形式上看像是由汉字减少笔画后组合而成的复合字。没有古琴基础的人来看，基本就是一张张天书。这种谱式的基本逻辑，是把一个字块分为上下两大部分。上半部表示左手指法及徽位，下半部表示弦次及右手指法。说白了，减字谱是把弹琴的手法用汉字来表示，这种谱只能记指法动作和弦序、徽位，而没有像欧洲乐谱一样记录节拍和节奏。所以即使是有音乐基础的人也很难把握其音乐走向。

相传，减字谱是由唐代曹柔发明的，但是也有很多其他传说，甚至有人将减字谱的专利归于大名鼎鼎的曹植。明代袁均哲据南宋田芝翁《太古遗音》辑《太音大全集》中的“字谱”篇，记述了古琴谱的发展过程：“制谱始于雍门周、张敷，因而别谱不行于后代。赵耶利出谱两帙，名参古今，寻者易知。先贤制作，意取周备，然其文极繁，动越两行，未成一句。后曹柔作减字法，尤为易晓也。”

但由于文献年代甚早，这种“音乐密码”的真正发明家已经难考。而始于唐，兴于宋，至明代开始出现大量整理谱集的减字谱，也就客观上成为了保存唐音唐曲的希望。想要“重现”唐曲，减字谱和古琴曲也就成为了最合适的原材料。

食材找到了，下一步，是把它放在AI里炖煮一会。

把“减字谱”放到AI汤汁里，煮成酸甜可口的“规则”

找到了好的食材，想要开始烹饪却并不容易。想要用减字谱为底料“重构唐曲”，第一步是必须让AI能够自动识别减字谱。

目前来看，相传属于唐代的减字谱数量并不多。但是这一时期的琴谱，普遍还没有形成宋代以后相对统一的减字规律。各琴家可能使用不同的减字规则，最终形成了各种不同的减字体系。虽然这个时期的指法相对简单，但命名方式不统一，叙述格式复杂，给AI留下了不少难题。

在赵维平教授等研究人员的帮助下，华为Mate 20 Pro的研发团队，必须抽丝剥茧般完成用AI识别古谱的任务。总体来说，AI识别减字谱，总共分三步：

1、图像预处理。减字谱大多属于影印本，图像模糊，并且注释与曲谱常常杂糅交错，AI很难识别清晰。这个步骤中，需要技术团队调用华为手机上HiAI Engine的文档检测、文档矫正、图像和文字超分辨率增强等AI能力，保证手机可以清晰地识别每一张古谱并快速地完成古谱文档的采集和数字化。而对研发团队来说，这是个可以“偷懒”的任务，因为华为手机包括Mate 20 Pro中内置有HiAI Engine，直接调用开放的相应AI能力接口，便可用它来拍摄减字谱达到事半功倍的效果。

2、训练减字谱的谱符检测和识别模型，构建编解码规则与字符库。团队的最终目标，是通过对减字谱进行特征提取，直接转换成简谱。然而在转化规则层面，团队将要面临一个全新的问题：过往的AI文字识别，主要是通过OCR识别+自然语言理解。但是减字谱不是文字，不能使用通用的OCR识别，因此团队专门训练了针对减字谱符的检测和识别AI模型。最终通过构建基于减字谱的编解码规则，研发团队成功完成了这个所有流程中的大挑战。

3、基于AI技术，建立减字谱的翻译程序。最后，利用训练好的AI模型，研发团队得以将大量减字谱快速地转换为现代简谱。至此，减字谱的AI识别与翻译工作算告一段落。

把“模型”，翻炒成大唐风味的“音乐”

这个年头，成熟的AI应该自己会作曲。

虽然听起来这完全是难为AI们，但这确实是“重构唐曲”的必经之路。在得到唐曲曲谱的大量数字化样本后，开启在云端进行大量训练，最终得到了一个能理解唐音唐曲编译规则的深度学习模型。

之后，研发团队将训练好的模型迁移到华为Mate 20 Pro上，仅仅利用端侧AI的算力，来完成本地推理，也就是AI编曲工作。

事实上，AI编曲和作曲近两年已经成为了业界的热点。自2017年，美国流行歌手 Taryn Southern 发表了名为《I am AI》的AI编曲作品后，相关的算法模型可谓层出不穷。

比如，OpenAI 发布了 MuseNet。这个模型AI从几十万个 MIDI 档案中学习，理解了合声、节奏和风格等元素，最终可以使用不同乐器不同曲风自己作曲。

而在中国科技界，用AI作曲的代表产品之一就是华为Mate 20 Pro。

所谓AI编曲和作曲，本质上是运行一个复杂的AI模型，来对不同的音乐、乐器、节奏、乐理等规则进行学习和反向输出。这类任务，恰好可以证明华为Mate 20 Pro的端侧AI算力。

而通过对古谱中音乐的分析和理解，一段属于大唐的音乐就被AI“吟唱”了出来。

在视频中我们可以看到，被闻一多先生誉为“以孤篇压倒全唐”的《春江花月夜》，最终以歌者的声音和古谱中“再现”的唐曲，一起出现在耳畔。

一部手机，一整间AI厨房

这里插一段题外话。用AI“重构唐曲”的流程跑下来，我们或许可以发现这样一个问题：

与一般的AI开发不同，华为手机的这次AI跨界实验，基本是依靠华为Mate 20 Pro的本地环境来进行的。

这当然一方面是对HUAWEI HiAI开放能力平台的检验，其中HiAI Foundation的麒麟980提供AI模型推理算力，HiAI Engine提供了各种可直接调用的AI能力API，HIAI Services提供语音助手和语音识别服务，同时或许也能看到这样一个趋势：越来越多的复杂AI任务，将在终端产品中部署和应用。在“重构唐曲”的案例里，我们可以看到这样几个趋势：

1、华为手机上的HiAI Engine已经开放了大量AI能力，比如语音识别、文字识别、语义理解等等，这些能力可以让AI应用更简单快速地被开发出来，成为开发者的助力，未来还会有更多的AI能力开放出来。

2、基于隐私保护的需要，应用中涉及的用户数据更应该留在本地。“重构唐曲”的案例中，最终需要研发人员完成一段朗诵。虽然一般意义上来说声音并不属于隐私数据，但其最好还是留在本地，避免上传云端带来不必要的麻烦，因此会有越来越多的AI模型会部署在端侧。

3、端侧AI模型加速，需要保证实时性体验。试想一下，如果我们歌唱了一段唐诗，但是配乐版本却迟迟无法呈现，就会导致体验不佳。为保证实时性体验，移动端AI模型加速也是必不可少的，HIAI Foundation提供的NPU算力可支撑AI模型在移动端高效运算。

这三大趋势，并不仅仅表现于“重构唐曲”的案例中，随着越来越多的移动端更加智慧化，HUAWEI HiAI开放能力平台将赋能更多AI场景，助力开发者快速开发和部署AI应用。

味道，还在形外

最后，或许我们有必要聊一聊，“重构唐曲”这件事，在引起大家无尽的“盛唐遐思”之外，还有哪些实际用处。

整个“重构唐曲”项目，给学术界留下了快速的减字谱识别和转换系统，以及直观的古曲研究应用。接下来，这些AI应用将长期供相关领域的研究者使用。

推而广之，还有大量学术应用亟待类似技术的落地。减字谱识别带来的“非文字符号识别”，也可以应用于少数民族文献、金石文献，以及特殊文献的识别和翻译中。比如将苏州码子转换为财经金融资料等等。而文献识别-语音生成的技术逻辑，则可以在“重构唐曲”之外，作用于现历代语音、音韵和音乐。

目前这个阶段，大多数终端用户都认为AI和声音的结合，只能做语音识别和语义理解。然而从“重构唐曲”的案例中看，识别古谱、推理旋律、“再现”消失的音乐——还有更多AI与声音的潜力等待挖掘。

归根结底，华为Mate 20 Pro研发团队是在做这么一件事：把AI和那些天马行空的奇妙想法联系在一起。无论是热带雨林里，故纸堆中，还是生活里的点点滴滴，AI都能完成一些令人意想不到的任务。

所谓抛砖引玉，亦可抛唐曲而引众声。AI需要由万千聪明的头脑去开发，亿万有趣的灵魂去享受。

“重构唐曲”这道菜的背后，移动AI的真味在于：每个人，每件事，都可以关乎AI。