用AI独霸群雄!Google回应Pixel 2手机不采双镜头原因

▲Google Pixel 相机开发的产品经理 Isaac Reynolds。(图/记者洪圣壹摄)

记者洪圣壹/台北报导

今年获得 DXOmark 最高分的 Google Pixel 2 持续以单镜头设计独霸群雄,《ETtoday新闻云》在稍早 Google 所举办的当中,访问到了负责 Google Pixel 相机开发的产品经理 Isaac Reynolds,能够做到最大差异化的,最主要是导入 AI 人工智慧,同时也说明了之所以不随波逐流采用双镜头的原因

现在所有高阶手机,都提供一样的效能、相似的设计,其实已经越来越没有意义,要从中做出差异化、符合人们需求,主要还是要透过建立在机器学习基础之上的人工智慧(以下简称AI),透过 AI 协助机器更快速、正确的做出反应

以 Google Pixel 内建的 Google Lens 为例,用户不管用前镜头还是主镜头,只要对着历史建筑物拍照,就可以知道建筑物名称,如果对著书本拍照,就可以知道书本名称、作者售价、购买地点等相关讯息,如果对着博物馆拍照,不仅可以知道博物馆名称,还可以知道博物馆历史背景馆藏,还有现在正在做什么展览活动等等,这都是透过 AI 的协助,连动原有的Google搜寻、Google翻译、Google地图服务,快速做出的自动化反应。

而 Google Pixel 也是如此,像是 Google Pixel 2 的人像模式过 AI 可以认识拍出来的影像当中,哪些是人像、哪些是物理环境,借此快速模拟深度地图,有效区别出人像与背景,两者互相结合起来,做出超越 DSLR 相机的人像景深拍摄效果

Google Pixel 相机开发的产品经理 Isaac Reynolds 解释,Pixel 手机的人像模式主要是透过机器学习的技术,然后提升人物本体锐利度,并根据手机跟人物的距离,自动辨识画面当中的人物与拍摄场景当中的远近距离,建构深度图谱,借此决定背景模糊的程度,制造出景深的效果。

到了 Pixel 2 的相机使用了一组特殊的影像感应器,相当于人类的双眼,透过将左、右两边的视域呈像所呈现的微小差别,来预测出景点中距离

原理是,透过将上述的感应器侦测到的每个正方形像素,分割成两个较小的矩形子像素,一个在左边、另一个在右边。用户拍照时,Google 使用所有的左边的子像素拍摄一张照片,所有的右边的子像素拍摄另一张照片,借此产出上述的深度图。

接着Pixel 2会使用机器学习技术来计算「划分遮罩」(segmentation mask),这项机器学习技术的背后已经学习了近百万张人物、服饰以及背景图像,因此这个划分遮罩中的像素变得锐利,遮罩外的像素变得模糊。接着 Google 将这个「划分遮罩」和「深度图」组合成一张优化过的深度图,然后根据估计的距离决定背景模糊的程度。

记者进一步询问,在上述处理的过程中,是否有跟晶片合作?以及究竟相片好看比较重要、还是接近真实比较重要?Isaac Reynolds 受访时回应,他会希望相片更接近真实场景会比较重要,而 Google 确实在开发手机的时候合作伙伴有紧密结合,当然 CPU 能耗处理、GPU 与 ISP 管理等也有跟晶片厂深度合作。

至于针对现有厂商多半都采用双镜头的解决方案,尤其是自从 2016 年 iPhone 7 Plus 推出之后,市场上几乎都采用广角+长焦的双彩色镜头解决方案。

对此,Isaac Reynolds 回应,如过透过双镜头是为了拍出更好看的景深效果,那么 Pixel 透过人工智慧已经可以做得很好,而且在影像细节上还能达到最佳效果,对比之下,双镜头虽然可以很方便做出一些拍摄效果,但是对于手机来说,拍摄时所消耗资源太多,这包括需要更多暂存记忆体、更多电力等等。

但他也不把话说死,直说:「要达到好的照片效果有很多好的方法,我们会持续做出不一样的事情,只是我们现在选择单镜头,未来不排除任何可能性。」