三大技术突破！OPPO MariSilicon Y发布：从“计算影像”跨入“计算音频”！

2022年12月14日

12月14日，继去年推出首款自研芯片马里亚纳 MariSilicon X 整整一年之后，OPPO在深圳召开的“OPPO 未来科技大会”上正式发布了第二款自研芯片—— 马里亚纳 MariSilicon Y。不同于面向“计算影像”领域的MariSilicon X，OPPO这一次推出的MariSilicon Y则瞄准的是“计算音频”领域，是一款旗舰级蓝牙音频SoC芯片，带来了音质的重大突破。

据介绍，MariSilicon Y带来了三大关键技术突破：（1）12Mbps全球最快蓝牙速率，突破传统蓝牙带宽限制，首次将192kHz/24bit无损音频带入蓝牙设备；（2）590 GOPS超前算力的音频专用NPU，用AI突破传统音频的计算范式；（3）领先2代的N6RF制程工艺，突破蓝牙音频设备的能效标准。

OPPO芯片产品高级总监姜波表示：“MariSilicon Y的设计具有一定的超前性，它的能力和定位在未来2～3年的时间内都将会是旗舰级。”

一、无损音频需求爆发

近年来，随着移动互联网的发展，智能手机早已取代了MP3、MP4等传统多媒体设备，成为了人们享受影音娱乐最主要、也是最便捷的终端设备。特别是随着真无线蓝牙耳机（TWS耳机）渗透率的提升，极大的刺激了用户对于流媒体音乐的需求。

根据Luminate 2022年上半年公布的报告显示，全球流媒体音乐同比增长了24.7%，而视频流媒体播放增长28.1%。QuestMobile 2022上半年公布的报告显示，中国移动音乐用户规模已达到庞大的7.06亿。庞大的用户需求，推动在线音乐平台曲库数量持续增长。如网易云音乐腾讯音乐，2021年第一季度的曲库数量为5500万，到2021年底就达到了1.4亿，增速达到150%以上。

有研究显示，2021年，大多数人对于音频设备的使用更加频繁，62%的人认为他们在日常生活中依赖音频设备。

对于移动音乐需求快速增长的同时，人们对于音质的追求也越来越高。

根据《2022音频产品使用现状调研报告》显示，超过58%的受访者表示希望获得高解析度或无损音质。61%的消费者希望获得比MP3更好的音质，包括CD音质（44.1kHz/16bit）、高解析音质（高于96kHz/24bit）、无损音质。此外，有66%消费者认为无损音质会决定他们是否购买设备。

针对用户对于音质的要求越来越高，各大流媒体音乐平台也纷纷推出了高品质的无损音乐资源和服务。比如全球最大的流媒体音乐平台Spotify，已宣布将推出“Spotify HiFi”服务。Apple Music目前已有超过7500万首的无损音频歌曲提供，且无损品质最高可达192kHz/24bit。Amazon Music平台也有数百万首无损音频。腾讯音乐集团旗下如QQ音乐、酷狗、酷我音乐，已提供包括96kHz/24bit的高解析音频（Hi-Res）和无损音频（44.1kHz/16bit或48kHz/24bit 无损压缩）；网易云音乐也支持CD音质（44.1kHz/16bit）无损，并且在2022年也正式上线Hi-Res专区，提供96kHz/24bit规格以上的音乐。

二、计算音频的个性化时代到来

当然仅有高品质的音乐资源是不够的，还需要有支持高品质音频的编解码及播放设备，而这其中除了扬声器之外，最为核心的正是音频芯片。

正如前面所提及的，近年来越来越普及的智能手机和迅速崛起的TWS耳机产品，已经成为了用户使用最为频繁的音频设备，而为了提升这类设备的音频编解码能力和音质效果，众多的芯片厂商也早已开始了在“计算音频”上的布局。

2018年，索尼率先在其推出的新款TWS耳机当中加入了主动降噪功能。2019年，苹果推出的AirPods Pro也加入了主动降噪功能，让用户可以完全根据自己所处的环境，选择自己的声音体验是隔离外界还是开放通透，还带来了空间音频创造的沉浸式体验，受到了用户的追捧。很快越来越多的TWS耳机厂商也开始跟进，目前主动降噪功能已经成为了中高端的TWS耳机的标配。而这些TWS耳机之所以能够实现主动降噪，就是因为其中的无线蓝牙音频芯片加入了“计算音频”的能力。

比如AirPods Pro就搭载了苹果自研的Apple H1芯片，其主动降噪是通过麦克风拾取到外界环境音的信号，然后通过专用的音频芯片将背景噪音分离出来，然后计算出与噪声相位相反的音频信号，再通过麦克风发出频率、振幅相同的声波，实现与噪声干涉实现相位抵消。但是，这里有一个先后顺序的问题：先采集噪声，但是要与噪声同时产生抵消音才能够降噪。所以需要这个音频芯片能够根据噪声进行预测，预测出下一时刻噪声的情况，并提前通过麦克风产生相应的抵消声波。

与此同时，为了保证降噪质量，还需要一个反馈麦克风用来检测所合成后的噪声是否真的变小了。这时候专用的音频处理芯片需要根据这个反馈麦克风测量到的结果，对处理过程进行调整从而进一步降低合成后的噪声音量，这叫做自适应过程。好比音频计算芯片变聪明了，能够根据消噪的效果不断调整自己，以达到最佳降噪效果。

除了降噪应用之外，近年来，芯片厂商也在不断强化音频芯片在音频编解码能力，提升无线传输速率，降低时延。

比如高通去年推出的旗舰手机芯片平台骁龙8 Gen 1以及面向音频设备的骁龙S5 Gen 1和S3 Gen 1蓝牙音频芯片，均支持了蓝牙5.2和Snapdragon Sound骁龙畅听技术，支持96kHz/24bit高清音频，同时还带来了高通aptX Lossless无损音频技术，号称可实现的CD品质无损无线音频，并支持全新LE Audio特性。高通最新推出的骁龙8 Gen2以及骁龙S5 Gen 2和S3 Gen 2蓝牙音频芯片，也升级了对蓝牙5.3的支持，支持48kHz无损音乐串流，低至48 毫秒的超低时延，并加入了对于3D空间音频技术的支持。

此外，联发科最新推出的天玑9200平台也带来了吞吐量高达8Mbps的蓝牙音频传输速率，远高于蓝牙5.3的标准，并且支持192kHz/24bit超高清音频编码（目前主流音乐平台能提供的最高规格），但受限于LHDC的标准限制，实际传输的是192/24bit有损音频。

需要指出的是，为了提升无线蓝牙音频的体验，高通和联发科等手机芯片大厂也都开始将其SoC当中的AI能力赋能音频体验，但目前AI算力主要是依托于手机主控SoC当中的NPU，蓝牙音频芯片本身依托于DSP提供的AI能力非常有限，仅能满足一些常规应用。

在OPPO看来，随着消费者市场的成熟和技术的发展，计算音频已开始迈入第二阶段，即个性化音频时代。

比如空间音频，传统上虚拟空间的渲染是基于一套预设模型，就像购买成衣西服，虽然精致，但细节处难免还会有不合身。而新一代的空间音频，可以根据用户个人的头型和耳廓形状，定制HRTF模型（Head Related Transfer Function，头部相关传递函数），获得最符合个人的听感，就像高级定制的西服，每一处细节都为用户的独特身材量身定制。

而随着AI技术、环境感知、自然语义处理等诸多先进技术融入计算音频领域，更具个性化的音频体验呼之欲出。

三、MariSilicon Y破解蓝牙音质难题

作为目前应用最为广泛的短距离无线连接技术之一，目前蓝牙技术除了是智能手机的标配之外，还广泛被应用于耳机、智能音箱、汽车、电视、键盘鼠标等众多的设备当中。根据蓝牙技术联盟（Bluetooth SIG）报告显示，过去5年（2017-2021）蓝牙累计出货量达到203亿，并且未来5年的复合增长率（CARG）还将维持在9%的稳定值。

众所周知，蓝牙连接优势主要在于便捷和低功耗，新的LE Audio还加入了一对多的AURACAST广播音频功能，但是相对较低的传输速率一直是蓝牙的一个劣势。

2016年，蓝牙技术联盟发布蓝牙5.0标准，其中一项重大升级是将传统的1Mbps PHY（蓝牙物理带宽速率）升级到2Mbps。在最新的蓝牙5.3标准中，EDR（Enhanced Data Rate）支持的最大速率为3Mbps。但在真实场景的应用中，因为现实信号环境等复杂因素的影响，理论值最高3Mbps的速率，往往只能发挥一半，也就是1.5Mbps的实际速率。显然，这样的传输速率是难以承载无损音频所需的数据传输量的。即使经过优秀的编解码技术压缩至一半的体积，目前蓝牙标准速率最多也只能传输48kHz/24bit的无损音频，对于更高品质的无线音频则无能为力，需要依托有线传输才能实现。

那么，要怎样突破蓝牙音质的限制呢？自然是提升蓝牙芯片的传输速率和传输效率。

1、业界最快的蓝牙传输速率：12Mbps

近年来部分头部的芯片厂也纷纷投入研发具备更高传输速率的蓝牙芯片，希望为用户带来更为高清无损的无线音频体验。比如前面提到的高通骁龙8系列，骁龙S系列蓝牙芯片，均可支持96kHz/24bit高清音频传输。联发科天玑9200平台的蓝牙无线传输速率则达到了8Mbps，大幅突破了蓝牙5.3标准速率，可支持192kHz/24bit无损音频体验，不过这仍需要借助于编解码技术对于音频进行压缩。

此次OPPO发布的MariSilicon Y突破了蓝牙5.3标准，带来了目前行业最快的12Mbps的蓝牙传输速率，达到了标准蓝牙的4倍。即使和2022年通用旗舰芯片的8Mbps蓝牙速率相比， MariSilicon Y的传输速率也高出了50%。

这也意味着，即便是MariSilicon Y在实际应用中传输速率仅有理论上的一半，也能完美的支持192kHz/24bit 无损音频，而且还能够有速率冗余，可以承载数据重传，系统开销（system overhead），承载信号控制等，实现整体蓝牙连接质量的大幅提升。

△MariSilicon Y现场实测蓝牙传输速率

2、全新高性能编解码技术URLC：无损压缩比率达50%

正如前面所提及的，除了提升蓝牙的传输速率之外，通过对于音频文件进行无损压缩，降低对于蓝牙传输速率的要求，也是提升蓝牙音质的另一个重要途径。

目前最常见的蓝牙音频传输格式主要有SBC、苹果AAC、高通AptX，此外还有非主流的索尼LDAC、LHDC、华为L2HC等，其中，AptX Lossless、LDAC、LHDC、L2HC都号称能达到CD级的音质，但实际上这些依然不是无损压缩。目前主流的无损编码格式，主要有FLAC和苹果开发的ALAC等。

根据OPPO公布的数据显示，FLAC的压缩率是70%、ALAC的压缩率也是70%、表现更好一些的L2HC压缩率是60%。OPPO认为，在一定程度上，现有的公有无损编解码方案都无法满足无线传输的体积要求，因此需要一个更强压缩能力的方案。

MariSilicon Y首次采用了OPPO自研的音频编解码技术URLC（Ultra-Resolution Lossless Codec），将无损压缩率首次提升至50%，这也意味着与其他无损压缩格式相比，同样的音频文件，URLC可以压缩至更小体积传输。

OPPO强调，URLC编解码协议是除ALAC之外的第二个支持192kHz/24bit的编解码技术，结合MariSilicon Y所拥有的12Mbps业界最快的蓝牙传输速率，将极大提升无损音频的传输效率。

值得一提的是，URLC编解码支持80Kbps～10Mbps动态码率，相比其他通用方案，有更大的调节区间，这意味着在受到外部环境中的信号干扰时， MariSilicon Y可以更精细地实时调节传输码率，确保音频传输的流畅性，既不会断连和卡顿，也不会大幅伤害音质。

此外，编码格式的兼容性也是非常重要的，毕竟URLC是OPPO定制的私有协议，只有当两个连接设备都支持URLC协议时，才能发挥出最大的效力。所以，MariSilicon Y在兼容传统的SBC和AAC编解码的同时，也加入了对于LE Audio的LC3编解码及LHDC、LDAC高清编解码的支持，实现了对于各类蓝牙设备的全面覆盖。

3、590 GOPS！可实现首个耳机端侧声音分离技术

前面提到，在OPPO看来，计算音频已开始迈入第二阶段，即个性化音频时代。而要实现个性化的音频，就需要强大的AI算力来助力。但是目前的蓝牙音频芯片基本都不具备专用的AI内核，这也使得其AI能力非常有限。

目前，蓝牙音频芯片的绝大部分计算处理都是通过DSP（数字信号处理器）来完成的，这包括音乐播放、EQ调整、编解码等。主动降噪功能，则大多是通过Codec的模拟信号处理，实时监测外界信号并计算出反向声波进行抵消。即使是高通等厂商的蓝牙音频芯片最新支持的空间音频功能，也是通过DSP来实现3D空间的渲染，再结合传感器的头部位置数据，实现头转跟随的效果。

那么，引入AI技术，能够为音频带来哪些不一样的体验呢？对此，全球领先的科技公司已经开始了积极的探索。

比如谷歌在2022年人工智能年度活动上，公布了谷歌全新的音频生成框架AudioLM，可以只根据简短的音频样本学习生成逼真的、高质量的语音和音乐。比如Meta已提供的Acoustic Sythesis工具，通过AI的能力对不同视觉环境做出相应的声音反馈，从而提升环境/场景模拟的保真性和沉浸感。此外，利用AI技术来实现音频内容分类，做环境感知、自然语义处理的研究也比比皆是。

凭借MariSilicon X在AI计算影像上积累的成功经验，OPPO也希望率先将其AI能力引入到计算音频领域，推动个性化的音频体验。

虽然MariSilicon Y内部集成的高性能DSP也能够提供25 GOPS（这也是全行业性能最强的DSP之一，目前全球销量最高的耳机芯片的算力为9 GOPS），但是OPPO认为这样的算力并不能满足“个性化音频时代”对于计算音频的算力要求。因此，MariSilicon Y首次集成了专用高性能NPU单元，算力高达 590 GOPS，达到了传统蓝牙音频芯片算力的十数倍。

作为首个集成独立NPU单元的蓝牙音频芯片，MariSilicon Y通过NPU运行AI算法时将比传统DSP更高效，拥有590 GOPS的AI算力，也将使得其不再依赖手机SoC提供的AI算力，计算能够直接在音频设备内完成，无需再将数据传输回手机内进行处理，减少了蓝牙通信需求和数据传输的延迟。

在具体的AI应用方面，MariSilicon Y凭借强大的NPU，首次在音频端侧实现了声音分离技术，可以为用户提供“自定义全景声”、“万能全景声”等下一代的个性化听音方案。

所谓声音分离，指的是从一段完整的音频数据中，识别和分离人声或其他特定乐器的声音，并将其分离成独立的音轨。基于此，用户可以自定义修改每一条音轨的音量，甚至是每一条音轨在虚拟声音空间中的位置，从而创造出全新的“自定义全景声”听感。

据OPPO透露，目前的“声音分离”最多可以分离生成四条独立的音轨——人声、鼓声、贝斯、其他。所以效果最佳的音乐风格为流行、摇滚、说唱等具有人声的歌曲。不适合交响乐、Post-Rock等无人声的音乐风格。

此外，基于 MariSilicon Y的AI大算力音轨识别分离能力，还可以无视音乐内容本身的格式，通过将音轨分离并重新定位渲染空间，能够将任意普通音频，实时转化成立体声、环绕声或者全景声，形成极具沉浸感的“万能全景声”听觉体验。同时它也可以支持很多行业通用的空间音频的算法，可以支持杜比的全景声算法，可以去呈现一个标准的空间音频的体验。

姜波告诉芯智讯：“音轨分离是OPPO自己的算法团队去实现的，目前音轨分离大部分基于云端，云上可以分开上传一个文件然后下载，我们做到几乎是实时的效果，在实时听一个音乐流媒体时，实时分开进行Remix也没有明显的延迟。但事实上，处理是有延迟的，只是延迟在可以感受的范围内，一般是感受不到的。”

总结来说，传统上多轨音频工程文件需要耗费较长时间才能实现的声音分离，现在凭借MariSilicon Y可以针对任意一首普通的音乐文件轻松实时完成。

OPPO表示，自定义全景声和万能全景声只是 MariSilicon Y对NPU和声音分离技术结合的第一次尝试，未来还有更多空间可以探索。比如，利用声音分离技术，提取人声和噪音，实现更加纯净的通话降噪效果；利用声音分离技术对老电视剧的人物对话进行增强；或者是利用这一技术实现更加随时随地的卡拉OK体验。

4、领先的N6RF射频工艺

除了性能强大之外，MariSilicon Y所采用的制程工艺也是全球领先的台积电N6RF射频工艺。

虽然目前最先进的逻辑芯片已经演进到了4nm工艺（比如苹果A16），但是对于射频芯片来说，进展则要相对较慢。台积电N6RF制程是2021年6月全新推出的面向5G时代的先进射频芯片制程，是将先进的N6逻辑制程所具备的功耗、效能、面积优势带入到RF射频解决方案。

台积电此前公布的数据显示，相比前一代的16nm射频技术，N6RF晶体管的能效提升了66%，晶体管尺寸减小了33%，同时兼顾消费者所需的效能、功能与电池寿命。

据了解，MariSilicon Y是全球第三款基于台积电N6RF工艺的芯片，也是迄今为止制造工艺最先进的蓝牙SoC芯片之一。此前仅有苹果H2芯片、苹果S8芯片中的GPS模块。

在功耗控制方面，除了台积电N6RF工艺的加持之外，据姜波介绍，OPPO在设计MariSilicon Y也对于功耗进行了很多的优化。比如，针对某些IP，通过调压节省功耗；对于核心的音频NPU和一些基础的IP（比如SRAM片上内存）进行定制来降低功耗；在射频功耗方面，也同样做了很多优化。

四、自研芯片能力再上新台阶

去年OPPO推出的首款自研芯片MariSilicon X是一款影像NPU芯片，主要侧重的是影像AI能力，但这只是一款协处理器，需要配合主控SoC来进行工作。而此次发布的MariSilicon Y则是一款针对蓝牙音频设备的完整SoC芯片，可以独立支持蓝牙音频设备的工作，不仅拥有强大的音频计算处理能力，还拥有蓝牙连接的软硬件全套能力，再加上全新的台积电N6RF射频工艺的采用，这些都使得MariSilicon Y的设计难度大幅提升。

首先，在设计方面，越先进的制程工艺，越复杂的架构，往往意味着设计的难度越高。虽然OPPO的首款自研6nm芯片MariSilicon X获得了成功，但是MariSilicon X的经验并不能复用到MariSilicon Y的设计，因为这是两种不同类型的芯片，一个是影像NPU，一个是具备音频NPU及无线连接能力的蓝牙音频SoC。

比如，影像NPU和音频NPU的架构和侧重点是不一样的。对影像NPU来说，要做很多的像素级的降噪和影像算法。但音频NPU结构更侧重于时域的处理。因为，音频上是可以根据时序的信息做AI推算，所以对音频NPU的内存设计也是很重要的。

此外，MariSilicon Y还是一颗射频芯片，这也是OPPO首次挑战无线连接芯片设计。这颗芯片的基带部分、数字部分和射频部分合在一起，带来了很多设计上的挑战。

“OPPO认为端对端的连接技术，是硬件能力里特别重要的基础性技术。OPPO强调万物互融，未来一定会在短距通信、端到端的体验上做很多探索和改进。这颗芯片虽然尺寸小，但是我们第一次在端到端，通过私有协议实现了连接。这个连接的基础能力是OPPO一定要建立的。MariSilicon Y则是OPPO首次挑战射频芯片设计的代表作，在这过程中我们成功克服了很多设计上的挑战。”姜波解释道。

其次，在制造方面，MariSilicon Y采用的是台积电最新推出的N6RF射频工艺平台，客观上来讲，该平台还没有经过市场的充分验证。此外，RF工艺和封装存在着很多的客观限制因素，例如RF CMOS技术中，噪声系数和线性度存在天然短板，只能通过电路结构和无法定量分析的隔离措施来缓解问题，这也给MariSilicon Y带来了很大的挑战。

姜波也表示：“选择N6RF工艺制程的时候我们也是很谨慎的，因为我们开始拿到台积电芯片开发工具的时候比较早，推进到N6RF，需要团队去测试工艺的特性，以便有更好的掌握。这个属于中后端的能力，幸好我们的后端团队也是很有经验的。”

第三，在研发投入方面，制程工艺越先进、芯片设计越复杂，需要的研发人才和资金上的投入也就越多，同时流片和制造成本也是非常的高。这也意味着研发MariSilicon Y的试错成本也要比MariSilicon X更高。

姜波告诉芯智讯：“这颗芯片无论是投入成本，还是市场ROI，从商业角度上看都是非常不划算的。每一次流片的成本，对于这个类型的芯片是非常昂贵；但是，N6RF工艺是我们未来必然要掌握的，第一是连接能力的掌握，第二是先进射频工艺的掌握，都是自研芯片必须要探索的。虽然从商业角度看，采用第三方方案的确更节约成本，但MariSilicon Y所代表的自研能力是无法通过第三方芯片获得的。”

而随着MariSilicon Y的成功推出，不仅意味着OPPO自研芯片在无线连接领域迈出了坚实的第一步，也意味着OPPO首次具备计算＋连接能力的蓝牙SoC平台设计能力，标志OPPO的自研芯片能力又上了一个新的台阶。

五、脚踏实地，持续研发

对于全球头部的智能手机厂商来说，自研芯片早已是一项不可或缺的核心竞争力。不论是已经凭借自研芯片获得成功的三星、苹果、华为，还是正在持续发力自研芯片的OPPO、vivo、小米等。特别是在智能手机市场已经趋于饱和，产品同质化越来越严重的当下，自研芯片不仅能够更好地帮助厂商解决用户关心的痛点，带来更多的差异化，同时也能更好的实现软硬件的协同，提升用户体验。

在不久前的OPPO公司内部讲话当中，OPPO CEO陈明永也表示：“OPPO要成为全球化的科技公司，未来的产品不仅仅只是手机，它将是一套以人为中心的智慧生活场景的解决方案，这就要求我们必须在底层硬件上有自己的能力，最重要的就是做好芯片。否则，我们就无法把用户体验做透。”

但自研芯片的真正成功绝非是数年时间就能实现的，这是一个需要长期坚持投入的过程，浅尝辄止的试水是难以成功的。

对于OPPO来说，做自研芯片也绝非一时之意，而是通过长期的行业洞察和判断，才才下定决心长期发力芯片，希望以底层技术赋能产品与用户。在2019年的第一届OPPO未来科技大会上，OPPO就宣布未来三年投入500亿布局“万物互融”生态研发，自研芯片就是其中大举投入的关键一环。

时隔两年之后，2021年12月，OPPO首款自研芯片MariSilicon X正式推出，虽然这只是一款影像NPU芯片，但也由此揭开了OPPO自研芯片的大幕。

目前，MariSilicon X已在Find X5、Reno8、Reno9上商用，后面预计还会有更多手机搭载这颗芯片，据姜波透露，这颗芯片已经达到了千万级出货量。

时隔仅一年之后，MariSilicon Y的顺利推出，进一步展示了OPPO自研芯片能力的进一步深化。并且，MariSilicon Y的研发速度也仅花了全球顶级科技公司同类产品研发的一半时间。

据芯智讯了解，OPPO在2019年就已经组建了高达2000人的芯片研发团队，在自研芯片上的决心和投入非常的大。显然组建这样一个庞大的芯片研发团队，OPPO的目标绝不仅仅是影像NPU、蓝牙音频SoC之类的外围芯片，但是想要跳过这些，一步登天实现终极目标显然是不现实的。

“对OPPO自研芯片来说，也是‘摸着石头过河’，每一步都必须走得非常小心谨慎。因此，OPPO自研芯片团队强调以平常心坚持底层技术研发，尊重客观芯片研发规律，从未妄想弯道超车，只有脚踏实地怀揣平常心，才能真正做好自研芯片。”姜波表示：“OPPO早已做好了打一场持久战的准备，OPPO从做芯片的第一天就知道，自研芯片不会轻而易举，也不会无路可走。”

OPPO CEO陈明永也指出：“我们做芯片，从未寄希望能有奇迹。如果有奇迹，一朝之间就能成，那谁都可以做。正因为好的芯片难做，我们做了，才能长期在用户体验上形成优势。这个过程不是那么轻松的，需要花时间，过程中还会有很多质疑，但我们必须保持平常心，尊重客观规律，一步一脚印走得扎扎实实。同时，保持长期乐观和短期谨慎。无论未来出现什么情况，OPPO做芯片这件事都很有意义。”