旷视科技移动端实时人体姿态识别亮相IMC联发科技展台

2018年10月29日

10月24日，联发科技在2018印度移动大会(India Mobile Congress 2018)上正式展出曦力 P70（Helio P70）系统单芯片（SoC），其增强型的 AI 引擎结合 CPU 与 GPU 的升级，实现了更强大的 AI 处理能力。作为联发科技核心的人工智能战略合作伙伴（AI Partner），旷视科技受邀参会并现场展示了其最新的人工智能技术在高性能移动平台曦力P70上的能力。同时，旷视科技联合创始人杨沐还在展会期间分享了双方合作创新之处。

▲ 旷视科技联合创始人杨沐就联发科技曦力P70 Demo演示发言

曦力 P70超强AI性能

与旷视合作创新硬件层

作为联发科技芯片产品家族的新成员，曦力 P70 具备最大功率，最长电池寿命，绝佳拍摄效果，流畅使用体验等优势。联发科技无线通信事业部总经理李宗霖表示：“曦力 P70 的推出，延续了联发科技致力于为大众市场提供高端智能手机才能拥有的强大功能及先进技术的承诺。”

据了解，此次新鲜出炉的曦力 P70采用台积电12nm FinFET制程工艺，应用多核APU，工作频率高达 525 MHz，可实现快速、高效的终端人工智能（Edge-AI）处理能力。为了最大限度提升严苛的AI应用性能，芯片组采用八核心大小核（big.LITTLE）架构，内建四颗Arm Cortex-A73 2.1 GHz 处理器和四颗 Arm Cortex-A53 2.0 GHz 处理器。该芯片组还搭载先进型 Arm Mali-G72 MP3 GPU，工作频率高达 900 MHz。

与曦力 P60 相比，曦力 P70 的增强型 AI 引擎续航时间增加 7%，且功耗降低 35%，从而可提升10% 至 30% 的 AI 处理能力；这意味着曦力 P70 可以支持更复杂的 AI 应用，例如实时人体姿态识别和基于 AI 的视频编码。

旷视科技作为全球领先的 AI IoT 解决方案提供商，始终致力于研发先进的算法并在各个终端建立感知网络，其中最重要的一部分便是移动端计算。自深入手机行业以来，旷视的技术已实现了在手机业务的应用层、算法层、解决方案层以及硬件层的全栈赋能，以打造适配多平台、多场景以及不同移动端设备的智能视觉解决方案。因此，旷视科技在追求移动端算法创新的同时，也一直在寻找能将自身算法运行的更加流畅高效的平台。

长期以来，旷视科技在硬件层都与联发科技有着合作创新。早在2月份的2018年世界移动通信大会 (MWC 2018)上，旷视科技就与联发科技联合展示了基于各自移动平台的全新的手机智能应用；除此之外，在3月份联发科技的曦力P60发布会上，旷视科技也曾作为核心AI技术合作伙伴之一出席。此次展会，旷视则将自研的人体姿态算法模型和人脸解锁应用带到曦力P70首次Demo演示中，实现了首个在移动端完成人体关键点检测的应用演示。

手机实时人体姿态识别

移动端AI应用就该这样玩

旷视科技联合创始人杨沐在曦力P70 Demo首次演示中表示，联发科技的AI处理器对实现人脸解锁、人体姿态识别等移动AI应用的性能提升有着很大的帮助。实际上，早在曦力 P60 芯片平台上，旷视科技就开发出了包含安全人脸识别解锁、先进影像处理、单镜头背景虚化、智能物体以及手势识别、智能相册分类等兼具实用性和趣味性的 AI 应用。此次在曦力 P70 平台上更是实现了端到端性能改进，使设备能够在90 毫秒完成精准、高效的人脸解锁，同时节省12%的功耗。

在展示区，旷视科技不仅展示了最热门的人脸识别解锁，更具挑战的是将实时人体姿态识别技术搬到了移动设备上。架在三脚架上的手机能够追踪到舞者在手机摄像头面前的每一个动作，吸引了不少专业观众驻足并体验。

人体姿态识别是计算机视觉领域的基本研究方向之一，多人姿态识别（Multi-Person Pose Estimation）是该方向上的一个经典难题；在传统算法遭遇瓶颈之时，虽然卷积神经网络的再次崛起和快速迭代为解决这一问题带来了新工具，多人姿态识别依然面临着一些百啃不动的“硬骨头”。目前，前沿技术已经能够让计算机识别复杂环境下的人体和动作。而随着移动AI时代的带来，大众对于移动设备的人机交互要求越来越高，如移动端的体感游戏，除了让手机识别人脸，对人体的感知能力或将成为手机行业下一条赛道。

在人体姿态识别的研究中，旷视的技术始终处于世界领先地位。2017年，旷视研究院就曾提出一种独创的级联金字塔网络——CPN，以解决关键点识别的难题，并连续两年在国际计算机视觉领域最权威的 COCO 人体关键点检测挑战赛中夺得冠军。

杨沐介绍，旷视Face 设计了新型骨干网络CBN，采用多层次跨阶段连接和由粗到细的监督策略，可大幅提升人体关键点识别精度，对实时检测图片或视频流中的人体，并对人体中的五官、肩部、肘部、臀部等关键点进行详细定位。在移动端，旷视针对曦力P70对模型进行了深度定制。在新一代APU的支持下，旷视的技术可以输出14个人体关键点，与CPU相比可节省52%的功耗，性能提升70%。

在人工智能成为手机等移动端领域的竞争焦点的今天。此次，旷视科技与联发科技在手机芯片 AI 能力研发方面的合作，意味着旷视科技未来可以更好地帮助手机厂商在计算资源、性能、功耗、成本等多个维度中找到平衡点，满足不同厂商对于移动平台的视觉技术应用和图像增强、相机增强、智能图像、视频处理等需求，让高端 AI 技术友好亲民地走近消费终端。