构建端侧生成式AI生态，联发科领先高通的一步好棋

2024年05月16日

继去年11月推出天玑9300，率先将生成式人工智能（AI）带入到智能手机端之后，芯片大厂联发科（MediaTek）为了引领移动生态抓住“生成式AI手机”市场机遇，近日召开了首届“天玑开发者大会”（MDDC 2024），并携手合作伙伴共建“生成式AI手机”标准与天玑移动AI生态，加速推动 “生成式AI手机”的普及。

“生成式AI手机”，下一个厂商必争之地

从功能单一且封闭的功能机，到以iPhone为开端的智能手机兴起，不仅带来了丰富的应用及服务生态，也改变了用户的交互方式，比如物理按键被淘汰，触摸屏成为主流，并进一步像语音交互发展，主流终端厂商都已选择通过内置语音助手，以带来更流畅且高效的交互体验，但由于终端算力、语义理解等方面仍存在限制，用户的使用范围往往停留在轻量级系统交互上。

2023年，以ChatGPT为代表的各类生成式AI应用日益受到关注，其凭借大语言模型（LLM）的加持，展现出卓越的性能表现。这也使得产业界相信，随着生成式AI进入手机端，将有望彻底变革智能手机体验。在生成式AI加持下，智能手机将能够与用户完成自然交互与沟通，理解并执行用户的各种复杂指令。这将极大提升智能手机用户的娱乐生活体验和智能手机的生产力属性。比如，生成式AI手机可以生成用户需要的图表、文本、音乐、图片甚至是视频，也可以根据用户的需要对输入的图片、视频进行编辑。

虽然智能手机通过网络能够获取云端强大的生成式AI能力，但是由于需要将数据上传到云端处理后返回相关推理结果，因此也存在着个人隐私数据安全、高时延、离线不可用等诸多问题。如果将AI大模型放到端侧直接运行，则可以有效的避免上述问题。另外，如果智能手机全部都依赖于云端算力和网络传输来获取生成式AI能力的话，那么势必会给上游的云服务厂商和电信网络带来巨大的投资成本压力，而这些成本最终会转嫁给消费者，这无疑将阻碍生成式AI的普及。如果能够利用智能手机自身的算力来运行生成式AI应用，不仅可以帮助上游厂商通过利用端侧的算力来节省大量的基础设施投资，也能够让终端用户具备无需付费也能在离线状态下安全的使用生成式AI的能力。

根据市场调研机构Counterpoint Research的数据显示，近年来旗舰智能手机以 TOPS 为单位的 AI 算力已经增长了 20 倍。预计2027年旗舰智能手机的芯片峰值 AI 算力水平将会达到 65TOPS 左右。

智能手机端侧AI算力持续增长，并拥有庞大的出货量和用户基数以及丰富的应用生态，在用户隐私保护、多模态输入输出和情境感知等方面所具备的优势，使得智能手机成为了生成式AI在端侧落地的最佳载体。

随着生成式AI技术与智能手机的深度融合，生成式AI手机在不断学习用户的行为习惯之后，将会孕育出一个甚至多个智能生命体（AI Agent)，能够智能识别用户意图，适时向用户推荐个性化的内容和服务。

总结来说， “生成式AI手机”的普及已经是大势所趋。据Counterpoint Research最新报告显示，在2023 全年出货的 11.7 亿手机中，只有420万台属于生成式AI手机。但是，在智能手机产业链上下游积极拥抱生成式AI变革的推动下，各大智能手机厂商也将生成式 AI 能力作为中高端产品升级的重点，这将加速生成式 AI 手机的全面普及。预计从2025年开始，所有中高端智能手机的新品都会具备生成式AI功能。从渗透率来看，预计2024年，生成式AI手机在整体智能手机出货量当中占比将达到11%，并将在2027年进一步增长到43%，届时生成式AI手机的出货量将超过12.3亿部。

显然，生成式AI手机将是智能手机进化的下一形态，存在着巨大的市场机遇，这也将成为手机厂商能否在新一轮竞争中胜出的关键。

定义“生成式AI手机”标准，推动应用生态加速发展

目前，联发科、高通都有推出支持端侧生成式AI的手机处理器，vivo、OPPO、小米等手机厂商也都有推出搭载这些处理器的旗舰手机。苹果今年下半年即将推出搭载其最新的A18 Pro处理器的iPhone 16系列，预计也将支持端侧生成式AI。虽然大家都认为生成式AI手机是大势所趋，但是各家厂商对于生成式AI手机都有着自己的理解，这样普通消费者对生成式AI手机就缺少比较明确的概念和认知，。

正所谓“一流企业做标准、二流企业做品牌、三流企业做产品。”作为全球智能手机芯片出货量最大的厂商，联发科自2017年就已经开始布局AI领域，以天玑旗舰移动平台站稳高端市场的同时，凭借其强大的APU独步端侧AI领域，去年联发科更是率先推出了能够支持最高330亿参数大模型的天玑9300旗舰芯片，发力“生成式AI手机”市场，并被多家品牌厂商的旗舰机率先采用。但是对于联发科来说，要想引领仍处于萌芽状态的“生成式AI手机”市场加速普及，光有领先产品只是打好了硬件基础，携手合作伙伴来共同定义生成式AI手机标准，并大力发展基于天玑平台的生成式AI应用生态，无疑是一步领先对手的好棋。

在近日的天玑开发者大会（MDDC 2024）上，联发科与市场研究机构Counterpoint一起，携手阿里云通义千问、百川大模型、虎牙、酷狗、零一万物、OPPO、Soul、AI Lab、混元、vivo等生态伙伴，发布了《生成式AI手机产业白皮书》，共同对于“生成式AI手机”的概念和典型特征进行定义。

根据该白皮书显示，生成式AI手机需要具备如下必要特征：1、支持大模型的本地部署，或是通过云端协同的方式执行复杂的生成式AI任务。生成式AI手机本身具备强大的AI算力，无须完全依赖云端服务器；2、具备多模态能力，即可以处理文本、图像、语音等多种形式的内容输入，以生成各种形式的输出，典型用例如翻译、图像生成和视频生成等；3、确保流畅、无缝的用户体验，设备能够以自然而直观的交互方式，快速响应用户的请求。

除此之外，生成式AI手机还需要拥有实现上述特征的硬件规格，包括但不限于基于领先工艺和先进架构设计的移动计算平台，拥有集成或者独立的神经网络运算单元（如APU/NPU/TPU），大容量和高带宽的内存，以及稳定和高速的连接，硬件级和系统级的安全防御。

联发科技无线通信事业部副总经理陈一强表示，在生成式AI快速发展期，对于“生成式AI手机”给出更为明确的参数指标要求是比较困难的。比如，几个月前的20亿参数的大模型已经比半年前70亿参数的大模型还聪明很多，所以在这个时期用具体的TOPS算力或者能做到什么样的功能去评估一个量化的标准，并不是很好的方式。

确实，目前在“生成式AI手机”刚开始的阶段，各类技术仍在快速发展，很难用一些明确的参数指标来对于生产式AI手机进行定义。因此，现阶段联发科对于生成式AI手机的定义，主要还是往应该具备哪些能力方向来进行定义。

联发科认为，生成式AI会改变手机的交互方式，彻底颠覆手机应用的模式，包括整个软件系统架构的设计。所以联发科和整个生态一起联合定义，尝试做这定性的分析。陈一强表示， “我们并不是只是分析和定义，而是站出来跟所有的生态厂商一起合作，让这些概念真正能够去落地，包括我们今天推出的所有工具，就是希望应用厂商在看到《白皮书》的大方向之后，到年底或者明年初就把能够实现类似定义的生成式AI应用变成现实。”

生成式AI技术创新，离不开芯片厂商支持

目前各类AI大模型可谓是百花齐放、并且仍在快速迭代，而手机所支持的端侧AI大模型仍相对较少，配套的生成式AI应用和服务则更是少的可怜，基本都还是云端生成式AI的那一套。可以说，生成式AI手机目前的生态仍处于一片“百业待举”的阶段，如果要发展起来，必然是需要携手众多应用开发厂商和开发者，来开发专属于生成式AI手机的原生应用和服务。这也正是联发科此次召开首届“天玑开发者大会”的目的。

对于主控芯片厂商来说，通过举办开发者大会等形式来发展基于自家芯片的应用生态可以说是很常见，但是作为头部手机芯片厂商的联发科举办了天玑开发者大会，这在移动行业却是头一遭。在“天玑开发者大会”的论坛环节，百川智能CEO、前搜狗CEO王小川就坦言，以前作为互联网应用厂商根本都不用去找手机芯片厂商合作，但是到了生成式AI手机阶段，作为AI大模型或者AI应用厂商就不得不要来跟手机芯片厂商直接合作了，因为我们需要手机芯片厂商提供足够的AI算力来支持我们，需要手机芯片厂商开放他们的AI芯片的能力给到我们，不然我们就无法提供出色端侧生成式AI体验。

联发科技无线通信事业部生态发展资深总监章立指出，当APP应用走到端侧AI大模型这种应用生态的时候，确实已经到了要去向终端芯片要算力的阶段。

不论是对于手机品牌厂商、大模型技术厂商，还是对于生成式AI应用开发者来说，如果他们的创新需要芯片层级的技术来支持，那么他们就一定会选择和芯片公司来直接合作，因为这样可以尽量弥合不同智能手机品牌、不同机型之间的技术差异。特别是对于生成式AI应用的开发者来说，需要从芯片的底层来发掘如何利用移动平台的先进技术打造创新的用户体验。总结来说就是，当开发者要想做到生成式AI的深度技术创新，那么就离不开芯片公司的支持。

而对于联发科来说，为应对生成式AI对于移动生态所带来的全新变革，在去年就已经开始了主动与众多的OEM、大模型厂商、应用厂商和开发者进行了深度合作与探讨。比如，思考如何帮助大模型厂商在端侧更高效、更快速、更容易的部署大模型，思考如何帮助OEM厂商和应用开发者们借助生成式AI带来应用、服务和用户体验上的创新。

天玑AI开发套件助力“生成式AI手机”生态加速起飞

对于生成式AI手机这样一个全新的“物种”来说，配套的软硬件生态都还处于起步阶段，势必会面临着众多的挑战。比如，终端硬件的多样化，众多品牌和机型，各自采用不同的芯片平台和硬件配置，这会导致应用的开发、移植和适配难度大；大模型端侧运行技术难度大，如果直接把训练好的大模型放到手机端，或者直接把依托于云端算力的生成式AI应用移植到手机端来，可能会面临运行效率低、内存占用过高、能耗过大等方面的问题。所以，如何能够更简单、更快速、更高效的优化、部署和运行成为关键问题；目前对于端侧生成式AI开发者来说，针对性开发工具的缺乏，也导致了端侧生成式AI应用开发难度大。

为了解决这些难题，联发科在此次“天玑开发者大会”上，还首次推出了终端生成式AI应用开发一站式解决方案——天玑AI开发套件。据介绍，天玑AI开发套件主要包括Gen-AI Model Hub、Gen-AI最佳实践、Gen-Al优化技术和Neuron Studio四大模块，可以为广大开发者提供“快、全、强、易”的专业开发体验。

其中，“Gen-AI最佳实践”包括了模型量化、模型编译、模型推理相关技术，可以帮助开发者高效地进行优化、开发等工作，可将大模型的端侧部署所需时间从原来的数周加速到只需有一天即可完成；

“Gen-AI Model Hub”则是一个模型库，为开发者提供了包含Llama2 7B/13B、Llama2 8B、BaiChuan 2B/7B、SDXL-Turbo、SDXL+LCM、SD1.5、Llava 1.5 7B、Qwen 1.8B/4B等市面上的主流大模型资源；

“Gen-Al优化技术”则率先支持多项关键优化技术，包括推测解码加速，可以使得Token生成加速2.2倍；LoRA融合技术可以使得功能包体积降低90%，下载速度提升10倍。这些优化技术将可以帮助开发者高效地实现端侧模型的性能优化。

“Neuron Studio”则是联发科专为开发者独创的一套高度集成、一站式、且可视化的 AI 应用开发环境，可以帮助开发者快速定位 BUG 及运行性能分析，并使得开发环境变得更为直观、易用，轻松实现更易用的开发体验。

总结来说，天玑AI开发套件是一套完整的开发工具链，全面覆盖了终端生成式AI应用开发的全部环节，提供了一站式的解决方案。并且，天玑AI开发套件目前已覆盖智能手机、智能汽车、物联网、个人电脑等智能终端设备，可以为全场景生成式AI应用开发赋能。

率先构建端侧生成式AI生态，联发科完成领先的一步好棋

需要指出的是，虽然去年英特尔、AMD都推出了PC端内置生成式AI大模型的AI PC处理器，高通也推出了支持手机端AI大模型的骁龙8 Gen3，但截至目前它们依然还是停留在推产品的阶段，相比之下，联发科在推出支持端侧生成式AI技术的天玑9300之后，就快速的进入到了引领合作伙伴构建生成式AI生态的阶段，并且还面向开发者推出了目前市面上唯一的终端生成式AI应用开发一站式解决方案——“天玑AI开发套件”，可谓是领先了竞争对手一大步。

如果说，英伟达是凭借其强大的CUDA生态才有如今的云端AI芯片市场的霸主地位，那么联发科显然也希望通过快速构建起基于天玑平台的端侧生成式AI生态，借此在未来的生成式AI手机市场占据竞争优势。

联发科无线通信事业部副总经理李彦辑坦言，现在很多厂商都在发展自己在云端的工具链，但是英伟达应该是最早的，它是拥有最完整的工具链的厂商。但是在端侧生成式AI工具链方面，可以说是非常少，尤其在体量如此庞大的智能手机市场，其实是没有工具链来支持端侧生成式AI应用开发的。今天联发科是第一家推出完整的端侧生成式AI开发工具链的厂商。李彦辑表示：“我非常相信，从端侧出发的工具链，我们是居于比较领先的地位的。我们会向云端的英伟达的那些工具链去靠拢，我们会去学习，推动整个工具链的完善和进步。”

章立也进一步指出，通过我们之前和开发者的交流了解到，他们面对生成式AI的机会都很兴奋，都想要去做一些创新，但是缺乏工具，或者只有碎片化的工具，甚至很多环节还没有工具。联发科抓住了这么一个开发者急需解决的痛点，推出了天玑AI开发套件，是很好的第一步。未来随着我们和开发者的持续磨合和反馈改进，天玑AI开发套件将会持续快速迭代，我相信明年我们的工具会变得更强大，而且一定是面向开发者需求的。

为加速生态共建，在 “天玑开发者大会”上，联发科还联合阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米等生态伙伴共同启动了“天玑AI先锋计划”，该计划面向全球开发者，致力于整合联发科与产业生态伙伴资源为勇于探索和创新的开发者提供开发资源、技术支持和商业机会，助力开发者在天玑生态中打造创新的用户体验。

“AI先锋计划包含两部分：第一个环节是我们和一些模型、OEM厂商一起联合构建领先的生态基础；再者就是跟所有的APP开发厂商，能够在这样的硬件基础上，探索怎么样开发新的生成式AI应用。所以先锋计划基本上是希望能够把开发资源释放给这些应用开发者，让他们能够加入并加速生态的构建和发展。”李彦辑解释道。

陈一强则以面向游戏应用的“星速引擎”为例指出：“开发者针对优化了天玑9300，那所有搭载天玑9300的终端都可以有启动星速引擎的能力，但是如果没有这样的东西，就可能要一家一家手机厂商去适配。所以我们是希望作为底层的赋能者角色把大家拉在一起，寻求共识，让大家比较能够一起往同一个方向走。如果没有这样我们的角色，可能不同的生态角色都会有不同的策略方向，就会影响整个生成式AI手机生态的推进。”、