2019年7月10日,联发科技在深圳举办首届AI合作伙伴大会,正式发布了全新的针对AIoT领域的i700处理器以及首款“真8K”智能电视芯片S900。同时,联发科还携手合作伙伴在展示区展示了数十款AIoT产品。而在几天之前,吉利推出的集成了NPU神经网络计算单元的量产车规级别高性能芯片ECARX E01也正是来自于联发科。
此前凭借押注AI,联发科手机芯片业务成功走出“低谷”,现在联发科又借助AI成功开拓了AIoT及智能汽车市场。虽然联发科从未喊出所谓的“All in AI”的口号,但实际上,联发科近几年来却一直践行着“All in AI”的战略,每一场发布会,每一款新产品,无不与AI密切结合。时至今日,在AI的加持之下,联发科的多项重要业务均已取得了阶段性的成果。
战略重心全面转向“AI”
自2017年冲击高端市场的Helio X30失利之后,联发科在智能手机市场遭受重创,随后联发科策略便开始了深度的调整,将重心逐步转向了芯片的人工智能(AI)的能力。特别是在终端侧的人工智能(Edge AI)开始兴起的趋势之下,联发科开始将重心转向AI,希望凭借AI打个漂亮的翻身仗。
2018年1月的CES上,联发科推出了自家的NeuroPilot 人工智能平台,希望通过通过整合硬件APU(AI处理器:Artificial intelligence Processing Unit)及软件(如NeuroPilot SDK),将Edge AI带入各种跨平台设备 —从智能手机、智慧家庭到自动驾驶汽车等。
2018年3月14日,联发科在北京召开主题为“曦力P60 AI你的手机”的新品发布会,正式发布了旗下首款12nm工艺、基于NeuroPilot平台、集成了多核AI处理器的SoC——Helio P60。值得注意的是,在此之前几天,联发科还和腾讯游戏共同宣布,双方将成立联合创新实验室,“围绕手机游戏及其他互娱产品的开发与优化达成战略合作,共同探索AI在终端侧的应用”。而随着Helio P60的推出,很快这款芯片获得了市场的认可,获得了多家品牌手机厂商的采用。
2018年12月13日,联发科在深圳召开了主题为“AI不释手”的“联发科Helio P90暨全球合作伙伴大会”,在AI领域进一步加码,推出了基于APU 2.0的Helio P90,而这款芯片当时的AI性能跑分成功登顶业内较为权威的苏黎世联邦理工学院的AI Benchmark排行榜,超越了高通骁龙855及华为麒麟980,这也让很多人大吃一惊。虽然也有人对这一结果将信将疑,但是实实在在的跑分成绩摆在了那里。而这也是联发科在AI研发上实力的一次真实展现。
而在那之后,联发科又进一步将其AI能力带入到了AIoT市场。
推出全新AIoT平台:i300/i500/i700
在AI计算由云端向边缘端转移的大趋势之下,物联网市场也对于芯片的AI能力提出了更高的要求。
根据Gartner的数据显示,2018年全球物联网市场(这里是以金额来统计,而不是出货量)基于AP的市场份额为48%,基于MCU的市场份额为52%,但是在AI的驱动下,到2021年基于AP的市场份额将增长至63%,大幅超过基于MCU的市场。
在此趋势之下,今年4月18日,联发科正式发布了其全新的针对智能家居、智慧城市和智能工厂等领域的AIoT平台,包含两款拥有高集成度和出色APU性能(即AI性能)的处理器芯片:i300和i500。
相对于以往联发科的芯片产品,全新的AIoT平台的i系列芯片进一步弱化了芯片本身的CPU/GPU等硬件参数,而是以适用于不同的AIoT市场和应用场景的对于AI能力的需求来进行区隔。
比如,i300的定位主要是一些对于AI能力没有什么要求的带屏联网设备,比如零售设备、联网的智能健身器材、楼宇商业显示设备等等。
而i500则加入了基础的AI识别能力,结合联发科的人工智能平台NeuroPilot,搭配低时延的边缘AI处理技术,可提供精准的人脸、行为和环境识别分析,大幅度提升准确度、生产效率和智能化水平。
此次发布的i700的AI能力则进一步大幅提升,可以为无人商店的辨物和人脸支付提供技术支持,也可实现智能楼宇的人脸门禁和公司的考勤系统,而在智能工厂中则能助力无人搬运车自动辨别障碍物以避免意外情况的发生。在运动健身方面的应用,i700平台还能进行3D人体姿态识别功能。
联发科资深副总经理及智能设备事业群总经理游人杰表示:“IoT市场是一个非常碎片化的市场,我们很难针对某一个碎片的市场特别开发一款芯片,这不太符合开发成本。我们提出的是平台的概念,依照各个AI算力等级的不同,大概把碎片市场区隔成几个层级,比如i300是属于带屏不需要AI的,i500是AI算力需要在1T内的,今天i700的算力是到4T FLOPS等级。”
而为了使得这三个平台能够很好的覆盖碎片化的AIoT市场,联发科提供了完整的开发平台、软硬件以及在AI开发环境上NeuroPilot做到最优化,可以支持不同的操作系统,像安卓、Linux等。
i700:集成双核APU,AI能效提升5倍
在此次AI合作伙伴大会上,联发科发布的i700系列则是其目前最高阶的智能网联平台,不仅提供了强大的CPU和GPU性能(集成了两个主频2.2GHz的ARM Cortex-A75内核与六个主频2.0GHz的Cortex-A55内核,同时搭了主频为970MHz的IMG 9XM-HP8图形处理器),同时凭借联发科的CorePilot技术的灵活调配,在提供最高性能的同时还能达到较低的功耗。据联发科介绍,i700系列的GPU能效相比i500系列提升了2倍。
同时,i700平台不仅支持联发科的人工智能平台NeuroPilot,还首次集成了两颗独立的APU内核,还加入了AI加速器(AI Accelerator),并搭载AI人脸检测引擎(AI face detection engine)。同时,i700也支持联发科的NeuroPilot SDK,可以完全兼容谷歌的Android Neural Networks API(Android NNAPI),提供完整的开发工具,让方案商及设备制造商充分利用 TensorFlow、TF Lite、Caffe 和 Caffe2 等业界常用框架,为创新应用程序提供了开放型平台。
在具体的AI能力方面,根据联发科在现场公布数据显示,i700的AI效能相较前一代的i500提升了5倍之多。相比i500,i700的场景检测能力提升了400%,人脸识别能力提升了300%,图像分割能力提升了300%,物体识别能力提升了400%。
联发科表示,i700是“顶级的AI方案”。为什么称之为“顶级的AI方案”呢?
相信之前看过芯智讯对于Helio P90报道的朋友应该都还有印象,在去年年底的联发科合作伙伴大会上,联发科发布了Helio P90处理器,当时,联发科技首席技术官周渔君就公布了其在AI Benchmark跑分排行榜上的成绩。
从AI Benchmark的数据来看,联发科Helio P90以25645分排名第一,高通骁龙855以22082分排名第二,华为麒麟980以21526分排名第三。需要支出的是,Helio P90是基于12 nm工艺,而后两者则都是基于7nm工艺,并且骁龙855还支持LPDDR4X-4266内存。
▲2018年12月,联发科公布的Helio P90的AI Benchmark跑分成绩
在此次的联发科AI合作伙伴大会上,联发科技首席技术官周渔君强调,去年Helio P90登顶AI Benchmark排行榜之后,到目前为止,Helio P90在AI整数运算(比如人脸识别就需要大量的整数运算)性能上,仍排在第一位。而此次发布的i700及S900的APU内核则是来自于Helio P90。这也意味着,i700及S900的AI性能的跑分有望接棒Helio P90登顶AI Benchmark排行榜。
▲在2019联发科AI合作伙伴大会上,联发科公布的联发科APU在AI Benchmark部分测试中的成绩,仍大幅领先于高通骁龙855及华为麒麟980。
凭借强大的AI算力,i700可支持3200万像素摄像头或2400万像素+1600万像素的双摄像头组合搭配,支持以3200万像素的分辨率和高达30帧每秒 (FPS) 的速度达成精准且零时延识别任务,也可以选用120FPS的超高清慢镜头识别快速移动的对象。此外升级的三核图像信号处理器 (ISPs) 能够处理14位RAW和10位YUV,并支持AI人脸检测引擎。
为了展示i700强大的快速物体检测能力,在发布会展示区,联发科还搭建一个展示场景:一个满载各种不同物品的玩具小火车沿着固定的椭圆形轨道持续快速行驶,而基于i700的智能摄像头安放在一个固定位置(图中箱子内),只能看到较短的一段轨道图像,而当小火车从摄像头前驶过时,摄像头快速准确的识别了车上的各个物体,以及透过火车上各个物品间隙能够看到的轨道外的键盘和鼠标。
此外,在联网能力方面,i700平台也很强,不仅支持2x2的802.11ac WiFi和低功耗蓝牙5.0技术,还内置最高支持Cat.12基带,通过4x4 MIMO和三载波聚合技术,可提供信号更稳定、网络速度更快的终端产品。
联发科表示,i700平台方案将于2020年开始对外供货。
全球首款“真8K”电视芯片
根据TCL在本次会议上公布的数据显示,受智能手机及平板电脑等移动终端的影响,电视机的日均开机率已经由三年前的70%下降到了30%,40岁以上的消费者成为了收看电视的主流人群。年轻人越来越多的选择通过手机、平板来观看视频节目。而这似乎正是电视市场所面临的挑战。
但是,与此同时我们也能看到,智能电视市场的兴起。根据前瞻产业研究院的数据显示,2017年中国智能电视销量达4662万台,比2016年4098万台增长13.8%,到2018年,智能电视销量将超5000万台。
目前中国是全球最大的电视市场,全球前十大电视制造企业,中国企业占比超过一半。其中就包括海信、长虹、TCL、康佳、海尔、康佳等品牌,占据了很大的一块市场份额。
在本次活动上,TCL、海信、创维酷开、长虹、海尔等国产智能电视大厂也纷纷前来为联发科站台,他们均表示看好智能电视市场前景,认为AI将会为智能电视带来更多的机遇。
TCL实业控股研发中心总经理陈乃军就表示,AI技术将会为电视行业带来更为自然的互动、更为个性化和具有沉浸感的体验。另外,在智能家居当中,智能电视也有望成为整体智能家居的优质大屏入口。
据海信电视负责人透露,截至2019年6月30日,其互联网电视激活用户数已达4433万。而对于未来的智能电视市场前景,海信也是十分看好。海信预测,到2020年海信全球互联网电视出货将达6500万台。
海信电视负责人也表示,智能电视需要全时AI,不仅要听得清、听得懂、反应快、反馈准,还要有情感,支持全场景AI服务。此外还需要利用AI深度学习和算法对于节目内容、画面进行场景识别,智能调整画质和音效。
联发科副总经理及智能家居事业群总经理张豫台认为,未来的视频是可“转移”的,用户在手机上可以接着看电视,也可以在家里电视上接着看手机上没看完的视频,这里需要一个很好联接。另外,我们不能把电视限制在看视频的角度,随着AI的加入,未来,电视能否在家庭、智能家居等更多的应用场景应用中,扮演更多的角色(比如智能家居的“管家”)?这是我们需要考虑的。另外,相对于手机屏幕来说,电视大屏所呈现的画面信息、画质体验都是智能手机所无法比拟的,电视基于大屏在很多场景下还有很多的优势。这是电视厂商和芯片厂商要努力找出来的。
显然,高清、大屏、AI智能已经成为了智能电视的重要发展方向和卖点。这也使得这些电视厂商对于智能电视芯片提出了更高的要求。
而在联发科看来,未来的智能电视需要高效能的内核,要支持8K显示,支持多格式的HDR,观看体验要不跳帧、不卡顿,还要加入AI、语音助理,能够实现个性化的服务。于是,联发科全新的“真8K”智能电视芯片S900也就应运而生。
此次联发科发布的S900芯片,采用多核心ARM Cortex-A73 CPU,多核心 Mali G52 GPU, 能够通过单颗SoC芯片实现8K视频解码,同时还支持外挂画质优化芯片供客户制造差异化。在I/O端,S900芯片支持HDMI2.1A接口,其频宽提升至48Gbps,能实现HDR10 ,4K120Hz及8K 60Hz的视频输出。
此外,S900还集成了联发科自研的APU,搭配联发科技自研的MiraVision-Pro和AIPQ技术,可针对不同场景进行AI识别,包含人脸识别、场景检测等AI增强功能,并就相应场景调校色彩饱和度、亮度、锐利度、动态向量补偿及智能降噪,提升整体视觉质量。
据介绍,联发科技S900平台方案现已量产, 终端产品将于2020年初开始对外供货。在发布会展示区,联发科也携手合作伙伴首次展示了基于S900芯片的8K智能电视样机。
构建AIoT生态
正如前面所介绍的,AIoT市场是一个非常碎片化的市场,市场非常的细分,产品种类繁多,但是很多出货量却又不大,作为芯片厂商很难单独针对每一个细分的市场开发一款芯片,这是不现实的,毕竟没有足够的量的支撑,很难实现盈利,甚至连成本都很难收回。
因此,联发科根据不同的AIoT市场,对于AI算力需求的不同,推出了i300/i500/i700三个不同台来统一应对。然后通过合作伙伴来基于这三个不同的平台来开发符合他们需求或想法的各种各样的应用。而联发科所需要的做的就是为他们赋能,帮助他们创新。
首先,目前AIoT市场的标准非常的繁多,不同的品牌厂商的产品,可能都有着不同的标准,基于的是不同的操作系统,使用的也是不同的云平台。为此,联发科提供了完整的开发平台、软硬件以及在AI开发环境(NeuroPilot),可以支持不同的操作系统,像安卓、Linux等,支持多样化的云端。
其次,联发科在众多的终端市场都是处于领先的地位,比如在智能手机市场是第二;而在安卓平板、语音助理设备、功能机、网络连接设备等市场均处于第一的位置。这也使得基于联发科方案的AIoT设备能够相对较为便捷的与众多基于联发科方案的智能终端设备相连接。与此同时,联发科还拥有完整的关键技术,包括处理器、AI、连接(WiFi/蓝牙/4G/5G等)、多媒体等。这也意味着,联发科能够为合作伙伴提供更为全面的技术支持。
第三,联发科也在积极的推进上下游生态合作战略。即在上游整合算法公司、方案商、系统集成商、渠道商、代理商资源,整合云服务提供商资源,在下游整合AIoT设备制造,以及行业垂直应用。
对于不同的AIoT客户,联发科可提供高效的参考设计,提供弹性的高低阶共架构设计,此外,还可以开放系统源代码。
游人杰解释称:“目前在AIoT里最常用的操作系统,包括Linux和Android。过去我们推这个市场时,联发科的Linux的标准和标准Linux协会的标准之间,我们有太多属于联发科自己的东西。所以,我们现在在AIoT的平台所设定的目标是,每一个平台Linux的系统全部都能上传到Linux的标准协会里,这个标准协会代表他认可你的Linux架构符合规范标准。有一部分没有规范的,我们用自己的方式。他能规范到的,我们都符合他的标准。好处是可以让各行各业用比较好的操作系统开发他的产品。”
在本次AI合作伙伴大会上,联发科也展示了其庞大的AIoT生态。包括小米、阿里巴巴、TCL、长虹、创维、旷视科技、海信、海尔、优必选等在内的多家人工智能及智能家居合作伙伴,都与联发科进行了深度的技术合作。
小米智能硬件部副总经理陈维扬在会上表示,“联发科技是小米智能硬件最核心合作伙伴”,搭载联发科技芯片的小米智能硬件已累计出货5000万台(小米的路由器和小爱音箱很多都是基于联发科AIoT方案)。
阿里巴巴人工智能实验室智能终端总经理茹忆在会上表示,截至2019年1月11日,天猫精灵累计销量突破1000万台,是全球增速最快的智能音箱。而天猫精灵系列主要也是基于联发科的芯片方案。
旷视科技全球资深产品市场总监沈瑄也表示,此前在智能手机端旷视科技就与联发科有着非常深度的合作,接下来双方也将会在智慧物流、智能门锁、智慧零售等AIoT领域展开合作。
在展示区域,联发科携手合作伙伴共同展示了包括智能机器人、智能工厂、智能班牌、智能门禁、智能行车辅助装置、智能音箱、8K智能电视、智能冰箱、智能油烟机、智能红酒柜、智能POS机、智能翻译机等数十款遍及商业、教育、娱乐等领域的AIoT产品。联发科AIoT生态已初具规模。
“联发科在整个业界有非常长久历史,有着非常深厚的技术积累,以及与众多IDH、ODM等厂商深入的合作关系,所以我们在整个产业链里能够提供最迅速、最有效、最有竞争力的方案,这是联发科过去多年累积的优势。而我们的合作伙伴也熟悉我们的芯片和软件,这也使得他们能够基于我们的AIoT平台开发出各种创新的应用。”游人杰略显自豪的说到。
“3A”业务初见成效
在今年5月底的台北电脑展上,联发科资深副总经理及智能设备事业群总经理游人杰就提出了将“智能设备事业群”业务增长的锁定在“3A”领域,即AIoT、ASIC和Auto。
关于AIoT这块,上面我们已经做了详细的介绍,而在ASIC业务(客制化的芯片服务)这块,芯智讯在去年的《手机芯片之外,ASIC业务成联发科新的增长引擎!》一文当中有过详细的介绍。
而当下最为热门的AI专用芯片也正是属于ASIC范畴,不论是云端AI芯片还是边缘AI芯片。而随着AI技术的发展,越来越多的算法厂商、自动驾驶技术厂商、云服务厂商等都开始推出自己的AISC芯片。
在昨天发布会后的专访环节,游人杰也透露,“过去三年来尤其针对数据中心的ASIC案子,从三年前是一个案子,到每年呈倍数增长。每个案子大概是将近6至9年,这需要一点时间的累积后,后面会变成我们很重要的成长动能。”
在Auto,即汽车电子业务这块,芯智讯在上周的《成功截胡高通?联发科打响汽车前装市场第一枪!》一文当中也有详细的介绍。
而在昨天会后的专访环节,游人杰也进一步确认,本月初吉利汽车发布的集成了NPU神经网络计算单元的量产车规级别高性能芯片ECARX E01也正是来自于联发科。这也是联发科自三年前宣布进军汽车电子市场之后,首次成功进入品牌汽车前装市场。
“目前在车用里面的半导体数目增长很快速,车用市场是联发科要布局的市场。我们在国内市场也好,或者在海外前装的市场都有不错的成果。今年下半年,客户就会产品有正式量产。”游人杰强调:“车用IC从设计到被车厂采用,到真正产品量产,至少要四年时间,我们布局这个产业刚好四年。所以我们今年看到车前客户开始量产。”
至此,我们可以看到,联发科的在AIoT、ASIC和Auto均已经取得了不错的成绩,联发科的“3A”战略已经初见成效。而实际上,这三个领域也均与AI密不可分。同样,联发科手机芯片业务之所以能成功“走出低谷”也得益于在AI上的发力。
从目前来看,联发科几乎所有的重要业务都开始融入AI,并且均已取得了阶段性的成果。
展示区产品展示
▲“真变形金刚”机器人来了!这款基于联发科AIoT平台的“星际特工机器人”可以在汽车和人形机器人之间任意变形。而且可以直接通过语言控制。
▲优必选展示的悟空机器人
▲MikiMobile展示的基于联发科AIoT平台的钉钉智能考勤门禁
▲基于联发科AIoT平台的小米智能翻译机
▲亿道展示的基于联发科AIoT方案的物流扫码设备(左),麦度智联展示的智能POS机(右)
▲品网科技展示的基于联发科AIoT平台的智能电子班牌
▲深圳中泰智丰物联网科技展示的基于联发科AIoT平台的智能门禁
▲视源股份展示的基于联发科AIoT平台的智能冰箱解决方案,可以通过内部的摄像识别冰箱内的菜品储藏情况,并通过冰箱外面的屏幕显示冰箱内的相关信息以及相关网络信息等等。
▲联发科展示的“刷脸支付”智慧零售解决方案
▲联发科展示基于单目摄像头的扫地机器人解决方案(基于联发科i500平台),无激光和陀螺仪辅助,单纯依靠摄像头来建模及空间定位。
▲联发科展示的智能行车辅助装置
作者:芯智讯-浪客剑