分析Pixel手机相机技术 Google:导入软体、机器学习是关键

▲Google Pixel手机以单镜头设计就可拍摄出令人惊艳的影像著称。(图/记者邱倢芯摄)

记者邱倢芯/台北报导

Google Pixel手机最令人惊艳的,莫过於单镜头却可达到强悍的拍照功能,无论是影像的景深效果,或是夜晚的清晰拍摄,都吸引了许多目光;Google今(23)日也特别邀请了Google杰出工程师Marc Levoy来台分析,Pixel手机如何在多镜头的手机市场下,还可以单镜头的设计惊艳手机市场。

Levoy指出,由于Google具备软体机器学习的优势,因此在研发的过程中,也将过往积累的经验加入在Pixel手机相机当中运用机器学习技术取代传统演算法,且在训练机器学习的过程中获得许多训练用的数据,都将有助提升拍照执行的准确度

▼Google杰出工程师Marc Levoy。(图/记者邱倢芯摄)

目前大多数的智慧型手机制造商利用合成浅景深(Synthetic Shallow Depth of Field)来达到如此的效果,该作法为运用作假景深达到真实景深的效果,而大部分使用者其实难以辨别差异。不过这一类的做法大多需要双镜头以上的配置,在相似的焦点下捕捉两个影像,再运用立体匹配演算法(Stereo Matching)去计算深度图(Depth Map),并在场景中选择一个平面以保持锐利影像,最后再模糊距离该平面更近或更远的影像特征,让背景呈现失焦的影像,来达到所需的效果。

不过仅有单镜头配置的Pixel手机,则是利用机器学习技术分割影像中的人物​,并运用卷积神经网路预估图像中 每一个像素的人物;卷积神经网路可以在TensorFlow中执行;Google利用超过100万张标签过的人物和配件照片进行机器学习模型训练,使用数学计算中的边缘感知双边求解器进行细化,让人物分割的边缘更加锐利。之后再运用相机中的双像素(Dual Pixels)预估深度图,以达到景深的效果。

且为了保持人物影像锐利,从机器学习人物分割技术中,根据人物与背景的距离按比例模糊化,并且将人物所在位置前后一段距离的影像也保持锐利,以让人物影像能清楚呈现。Levoy认为,如此的呈现效果,虽然非物理上正确,但有助于摄影初学者透过Pixel手机肖像模式拍摄人物。

而在夜视模式的部分,Pixel手机是利用按下快门后,静止不动的几秒钟时间内,高速捕捉最多15​帧画面,而后Pixel 3会结合高解析变焦功能(Pixel 1/ Pixel 2 / Pixel 3a 则是结合HDR+功能),再透过学习式白平衡(Learning-based White Balancing)调整影像色调,并借由计算摄影的自动调整,以保持景物最真实的色调,最后就可拍摄出令人惊艳的夜晚影像。