在本月初的谷歌秋季新品发布会上,谷歌推出了两款Pixel 2系列智能手机,而这两款手机的特色之处在于,其虽然采用了后置单摄像头,但却仍然拥有与双摄手机一样的“人像模式”,支持“背景虚化”的拍摄效果,同时,其前置单摄像头也同样支持这一功能。谷歌也表示,该功能并没有比双摄手机要差!
根据DxOMark测试显示,谷歌Pixel 2照片拍摄得分达到了99分(这是多个测评项目分数的加权得分),超过了苹果iPhone 8系列和三星S8系列,而且Pixel 2在几个测试项目中都达到了新的高度。
而谷歌Pixel 2系列之所以能够拥有出色的拍照性能,能实现与双摄手机一样的“背景虚化”功能,而这主要是得益于其采用了索尼的Dual Pixel图像传感器。
不过,对于提升Pixel 2系列的拍照性能,谷歌还隐藏了一个大招!那就是,Pixel 2系列手机当中还配备了一颗由谷歌自主设计的未激活的图像处理和机器学习协处理器——Pixel Visual Core。
谷歌首款自主芯片Pixel Visual Core
10月17日,谷歌通过其官方博客正式公布了其首款自主设计的针对智能手机的芯片Pixel Visual Core。该芯片是一款平台专用芯片,目的是在提升 谷歌Pixel 2系列的相机拍摄品质,并且协助更快的处理HDR照片。
HDR(High-Dynamic Range,高动态范围)是目前在摄影中常用到的一种技术,其可以克服多数相机传感器动态范围有限的缺点,并将图片色调控制在人眼识别范围之内。它还能将多张曝光不同的照片叠加处理成一张出色的图像。
比如说我们在晴天拍摄一张天空很亮(或光线比较强的地方)的照片,在一般情况下,拍摄的结果要不就是过曝,一片白色,要不就是地面的景物曝光不足,一团黑。而有了HDR,则可以让亮处的效果鲜亮,而暗处则可以保留更多的细节,能分辨物体的轮廓和深度。
而谷歌的HDR 除了能够应对这种情况之外,还能解决阴暗环境中拍摄照片模糊或者满是噪点的问题。
早在2014年,谷歌就在Nexus 5和Nexus 6的相机App中推出了这项功能。它的实现方式说起来有点简单粗暴:你按下拍照按钮,相机瞬间拍下一组照片,然后快速将它们合并成一张,存储起来。不过,和其他相机上的HDR一样,谷歌的HDR 也有一个缺陷,就是处理速度慢。
谷歌在官方博客上明确表示,他们开发Pixel Visual Core是为了“扩展HDR 的使用范围,处理最具挑战的图像和机器学习应用,降低HDR 处理的延迟,甚至提高能效。”
△ Pixel Visual Core结构图解
根据Pixel Visual Core结构图显示,Pixel Visual Core的中心部分是谷歌设计的图像处理单元(Image Processing Unit, IPU)。IPU是从零开始设计的特定领域可编程处理器,共有8个核心,每个核心有512算术逻辑单元(ALU)。
在移动设备上,ALU每秒能进行超过3万亿次运算。Pixel Visual Core将HDR 计算的速度提升了5倍,与在应用处理器上运行相比,功耗只有1/10。
谷歌介绍称,IPU有这样的能效,关键在于硬件和软件的紧密耦合。与传统的处理器相比,IPU用软件控制了硬件的更多细节,这带来了更简洁的设计和更高的能效。
但是,这种紧密耦合也让IPU难以用传统的编程语言进行编程。为此,IPU利用特定领域的语言来减轻开发人员和编译器的负担:用Halide来进行图像处理,用TensorFlow处理机器学习。谷歌还做了一个编译器,来优化底层硬件的代码。
目前,谷歌Pixel 2系列智能手机上的Pixel Visual Core依然处于未激活状态。不过在未来,谷歌发布Android Oreo 8.1 开发者预览版软件更新之后,Pixel Visual Core就能用了。此外,谷歌还表示将会向第三方开发者开放Pixel Visual Core,开发者也可以通过Android Camera API,让自己的App用上Pixel 2的HDR 技术。
谷歌还强调,HDR 加速只是Pixel Visual Core的第一项应用,接下来的各种其他应用也都已经在开发中。而这其中就包括了机器学习应用。这也意味着谷歌Pixel 2系列智能手机未来还将支持更强的人工智能。
此前,谷歌Pixel 2系列就整合了Google Lens(一款基于图像识别和OCR技术的人工智能应用),已可以将用户拍摄到的图片信息结构化,实现实时机器翻译、文字识别等功能,也能够查看图片中的地标、书籍、音乐等内容。
谷歌将继续加码硬件及人工智能
对于谷歌针对智能手机推出自主设计的芯片Pixel Visual Core的行为,彭博社表示,这代表着代表谷歌进军硬件领域的一个最新信号,此举预计将对其当前芯片供应商产生威胁,尤其是移动芯片龙头高通 (Pixel 2系列采用的是高通骁龙835平台)。
彭博社的报道指出,自主设计芯片不仅成本高昂,而且需要一定时间。因此,目前除苹果、三星、华为之外,没有几家智能手机厂商有能力自主设计芯片。谷歌Pixel Visual Core的推出对高通来说可能不是个好消息,因为谷歌的Pixel 和之前的Nexus系列智能手机都采用的是高通的骁龙处理器。而且,高通一直宣扬其骁龙处理器具有类似的照片处理能力,如今谷歌开始自己来做这方面的芯片,这可能对未来双方的合作投下变数。
不过,谷歌对此表示,目前并没没有改变与高通合作关系的计划,目前也没有计划向其他公司销售Pixel Visual Core芯片。显然,从目前来看,谷歌推出Pixel Visual Core是为了提升其自有的智能手机产品的性能,加强自身手机业务的市场竞争力。
值得注意的是,在9月21日,谷歌斥资11亿美元全盘收购了HTC原参与打造Pixel手机团队,即等于是收购了HTC的ODM业务,有近2000名研发人眼。而且谷歌还获得了HTC数千件专利的使用权。此举也被认为是谷歌进一步加码智能手机业务的一个大动作。虽然,此前谷歌也收购了摩托罗拉,随后又卖给了联想,但是谷歌还是通过收购摩托罗拉获得了大量的专利,这也或将使得谷歌在全球智能手机市场将畅行无阻。
另外,谷歌推出Pixel Visual Core似乎也是为了进一步推动人工智能在自身硬件业务当中的应用。
目前在终端侧部署人工智能已经是大势所趋,不论是苹果iPhone 8/X系列的A11处理器、还是华为Mate10搭载的麒麟970,都集成了人工智能处理单元。谷歌Pixel Visual Core虽然并未集成到处理器当中去,只是一个协处理器,但是其仍能赋予Pixel 2系列较强的人工智能的能力。
其实,早在2013年,谷歌就开始研发自己的专门用于 TensorFlow 深度学习应用的处理器TPU,此前打败李世石和柯洁的阿法狗就是基于谷歌的TPU处理器,而且在2015年上半年,谷歌已经开始将TPU应用到了自己的数据中心。
综合来看,目前谷歌已经拥有了自主设计人工智能芯片的能力,拥有强大的智能手机硬件设计团队,拥有目前用户最多、应用最广泛的移动操作系统——Android,在谷歌不断加码智能手机及硬件业务的前提下,未来谷歌确实有可能会效仿苹果设计自主的手机处理器并集成人工智能,而这也将补齐谷歌一直以来在智能手机及硬件业务当中缺失的重要一环。
作者:芯智讯-浪客剑