焦點
Pixel相機解密!Google藉由「機器學習」成為智慧手機鏡頭霸者
文.圖/JC 2019-05-23 12:03:00
Google自從第一支Pixel手機推出後,其相機技術便快速展露頭角,每每推出新機時都會成為當年度智慧手機最強鏡頭,其背後的技術主要來自於Google強大的軟體,這也是近年來智慧手機相機系統的發展趨勢,以軟體定義為主的相機。這次Google特別請來Google傑出工程師(Distinguished Engineer)Marc Levoy來台,他是史丹佛大學電腦科學榮譽退休教授(該職由VMware創辦人所支持),這一次他親自到台灣解說Pixel相機的技術背景。
Google Pixel 3和Pixel 3 XL終於登台,最強智慧手機相機來了!
不過說到底~「什麼是好的智慧手機相機?」相信這才是對大家來說的一大重要疑問,技術面上來說,Google表示相機拍照執行上必須要很迅速,這當中包含許多標準,像是即時觀景器 (Live Viewfinder) 要大於15 幀率 (fps)、快門延遲時間小於150毫秒、照片成像時間小在4秒以內,並且不讓手機因拍照而升溫。
而對一般消費者來說最基本的,就是預設的拍照模式絕對不能失敗。也就是說當你開啟Pixel相機進行拍照時,未進行任何細部設定就直接拍攝時,拍出來的照片必須是你想要的。這過程中須具有可靠的曝光、對焦和白平衡,並且避免鬼影或視覺殘影,這樣的結果當然也不能百分之百說是絕對,但Google保證至少96%的照片是ok的!
另外,Google也重視消費者在攝影時遇到的特殊情況,舉例來說,過去Google的機器學習偵測器可以捕捉九成五以上出現在場景中的人臉,但是卻會忽視有戴墨鏡的人,隨著時間演進和技術的進步,現在這個問題已經解決。另一個例子來說,使用全景模式或是其他特殊拍攝模式時,可能會出現可接受的偶發失敗,但這必須在消費者可以容忍的情況下,因為反而會製造出特殊的笑點。
這些原因和Google對Pixel相機的標準所致下,呈現出來的結果就是當一般消費者或者甚至是專業的攝影師,當他們拿到Pixel手機時,大部分時候只要隨手一拍就可以輕鬆拍出完美的照片,而這對許多人來說,甚至大眾來說,就是一台好的智慧手機相機。
第二個特點是Google Pixel 2引入的肖像模式(Portrait Mode),也就是攝影師口中的「Bokeh」(散景)效果,主要是將焦點集中在主要的人物或物品上,並藉由景深對比的效果,使其從背景中凸顯而出。Google Pixel 2 和Pixel 3 手機在僅有單一個後置鏡頭的條件下,利用機器學習技術分割影像中的人物,這點主要是因為Pixel 2相機以來搭載的Dual Pixels「雙像素」科技,也就是相位對焦技術來預估深度圖(Depth Map),每一個單一像素上的影像可分為兩部分:每個像素的右半部通過左半部鏡頭看世界,每個像素的左半部則通過右半部鏡頭看世界,因此會得到兩種具些微差異的成像,再透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。Google進一步訓練機器學習藉由輸入RGB顏色、左和右,就能得到深度圖,取代在立體空間中搜尋、計算每一個二分之一像素中影像呈現是來自現實世界中的左半部或右半部,所獲得的結果就是可和DSLR專業單眼鏡頭媲美的(淺)景深效果。
再來就是Pixel 3引入的高解析變焦(Super Res Zoom)和夜視模式(Night Sight)效果,Google在Pixel 3 手機相機中推出高解析變焦功能,雖然此功能背後並無搭載人工智慧及機器學習技術,簡單來說就是將人們拿手機拍照片時手造成的自然晃動,將多層影像合成為更高像素的照片,不僅提升照片細節的呈現之外,解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。
夜視模式的效果則是在按下快門後,觀景器將會靜止不動幾秒鐘,高速捕捉最多15 幀畫面,再結合其他Pixel手機相機功能,像是Pixel 3會結合高解析變焦功能、Pixel 1/ Pixel 2 / Pixel 3a / Pixel 3a XL則是結合HDR+功能,最後再透過學習式白平衡 (Learning-based White Balancing) 調整影像色調,讓整體畫面的效果藉由計算攝影的自動調整,仍可保持景物最真實的色調。
接下來小編期待的重點就是即將在10月推出的Pixel 4旗艦機了,看看Pixel相機繼續進化的結果!
更多Pixel新聞
Pixel 3a/3a XL登場!小缺憾的15K Google智慧手機Google Pixel 3和Pixel 3 XL終於登台,最強智慧手機相機來了!
好的相機「隨手一拍」都能有好照片
剛剛說到目前智慧手機的發展趨勢主要是以「軟體定義」的相機為主,在圖像計算上不再單靠具固定功能的硬體,運用計算攝影 (Computational Photography),並導入機器學習 (Machine Learning),運用機器學習技術取代傳統的演算法,且在訓練機器學習的過程中獲得許多訓練用的數據,有助提升執行的準確度。最後Google同時也將這些技術公開,在發展手機相機技術的過程中,不斷公開對外分享技術成果,不僅有助於驅動更快速的創新,也藉此吸引更多博士新秀加入Google AI研究團隊。不過說到底~「什麼是好的智慧手機相機?」相信這才是對大家來說的一大重要疑問,技術面上來說,Google表示相機拍照執行上必須要很迅速,這當中包含許多標準,像是即時觀景器 (Live Viewfinder) 要大於15 幀率 (fps)、快門延遲時間小於150毫秒、照片成像時間小在4秒以內,並且不讓手機因拍照而升溫。
而對一般消費者來說最基本的,就是預設的拍照模式絕對不能失敗。也就是說當你開啟Pixel相機進行拍照時,未進行任何細部設定就直接拍攝時,拍出來的照片必須是你想要的。這過程中須具有可靠的曝光、對焦和白平衡,並且避免鬼影或視覺殘影,這樣的結果當然也不能百分之百說是絕對,但Google保證至少96%的照片是ok的!
另外,Google也重視消費者在攝影時遇到的特殊情況,舉例來說,過去Google的機器學習偵測器可以捕捉九成五以上出現在場景中的人臉,但是卻會忽視有戴墨鏡的人,隨著時間演進和技術的進步,現在這個問題已經解決。另一個例子來說,使用全景模式或是其他特殊拍攝模式時,可能會出現可接受的偶發失敗,但這必須在消費者可以容忍的情況下,因為反而會製造出特殊的笑點。
這些原因和Google對Pixel相機的標準所致下,呈現出來的結果就是當一般消費者或者甚至是專業的攝影師,當他們拿到Pixel手機時,大部分時候只要隨手一拍就可以輕鬆拍出完美的照片,而這對許多人來說,甚至大眾來說,就是一台好的智慧手機相機。
應用多種技術促成超猛相機
隱藏在Pixel相機內部的就是多種技術的組合,這些技術加上Google的機器學習和AI軟體輔助,促成一般人在使用Pxiel拍照時,能夠在不影響拍照過程的體驗下,獲得驚豔的結果。當然這當中有許多技術包含在其中,舉例來說,HDR+就是其中之一,Google Pixel手機相機運用HDR+技術,透過捕捉在相同曝光程度下的連拍影像,並且避免亮處過度曝光,再進行多重校準和合併,利用採用色調映射 (Tonemap)增強陰影,犧牲整體色調和對比度,以保留局部對比度。第一代的Pixel相機就是因為HDR+技術展露頭角的,獲得當年DXO評分第一名(89分)!第二個特點是Google Pixel 2引入的肖像模式(Portrait Mode),也就是攝影師口中的「Bokeh」(散景)效果,主要是將焦點集中在主要的人物或物品上,並藉由景深對比的效果,使其從背景中凸顯而出。Google Pixel 2 和Pixel 3 手機在僅有單一個後置鏡頭的條件下,利用機器學習技術分割影像中的人物,這點主要是因為Pixel 2相機以來搭載的Dual Pixels「雙像素」科技,也就是相位對焦技術來預估深度圖(Depth Map),每一個單一像素上的影像可分為兩部分:每個像素的右半部通過左半部鏡頭看世界,每個像素的左半部則通過右半部鏡頭看世界,因此會得到兩種具些微差異的成像,再透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。Google進一步訓練機器學習藉由輸入RGB顏色、左和右,就能得到深度圖,取代在立體空間中搜尋、計算每一個二分之一像素中影像呈現是來自現實世界中的左半部或右半部,所獲得的結果就是可和DSLR專業單眼鏡頭媲美的(淺)景深效果。
再來就是Pixel 3引入的高解析變焦(Super Res Zoom)和夜視模式(Night Sight)效果,Google在Pixel 3 手機相機中推出高解析變焦功能,雖然此功能背後並無搭載人工智慧及機器學習技術,簡單來說就是將人們拿手機拍照片時手造成的自然晃動,將多層影像合成為更高像素的照片,不僅提升照片細節的呈現之外,解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。
夜視模式的效果則是在按下快門後,觀景器將會靜止不動幾秒鐘,高速捕捉最多15 幀畫面,再結合其他Pixel手機相機功能,像是Pixel 3會結合高解析變焦功能、Pixel 1/ Pixel 2 / Pixel 3a / Pixel 3a XL則是結合HDR+功能,最後再透過學習式白平衡 (Learning-based White Balancing) 調整影像色調,讓整體畫面的效果藉由計算攝影的自動調整,仍可保持景物最真實的色調。
Pixel讓人人都成為攝影師
Pixel系列手機近年來成為智慧手機計算攝影的代表詞,其產出的照片幾乎都能讓消費者一次拍出想要的結果,不必另外進行後製修圖,早前推出的Pixel 3和Pixel 3 XL雙旗艦機是去年Google的代表作,也再度印證Pixel是智慧手機強者的代名詞,而不久前才推出的Pixel 3a和Pixel 3a XL則是Google進軍中階入門機手機踏出的第一步,所有Pixel 3高階相機都有的技術和特點全部都毫不保留的轉移到3a雙機身上,兩階級之間的差異僅在運算照片效果的速度而已,其餘效果皆不變,卻只要台幣1.5萬上下就能獲得,實在很超值。接下來小編期待的重點就是即將在10月推出的Pixel 4旗艦機了,看看Pixel相機繼續進化的結果!
- 發表您的看法
請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。
請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。
請勿侵犯個人隱私權,將他人資料公開張貼在留言版內。
請勿重複留言(包括跨版重複留言)或發表與各文章主題無關的文章。
請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。
您在留言版發表的內容需自負言論之法律責任,所有言論不代表PCDIY!雜誌立場,違反上述規定之留言,PCDIY!雜誌有權逕行刪除您的留言。
最近新增
- arlo Video Doorbell實測開箱(AVD4001-100APS),第二代2K雲端無線Wi-Fi視訊門鈴評測!
- 十年減塑行動,為海洋淨化奮鬥 宏正攜手員工及汐止學校迎戰海漂廢棄物
- 怡利電子通過DEKRA德凱ISO/SAE 21434車輛網路安全認證 車載系統防護實力獲國際肯定
- SAS Innovate大會發表全新Viya生成式AI功能、行業專用AI模型解決方案 提出雲原生架構完整布局
- 迎廣推出以「All is One」為設計概念的POC ONE Mini-ITX機殼 預裝扣環串起的面板 提供獨特的組裝體驗
- realme 12x 5G同級最耐用手機! 萬元內的旗艦級新品正式登場
- arlo Essential Outdoor Camera實測開箱(VMC3050-100APS),第二代2K室外雲端無線Wi-Fi攝影機評測!
- arlo Essential Indoor Camera實測開箱(VMC3060-100APS),第二代2K室內雲端無線Wi-Fi攝影機評測!
- arlo Essential Camera、Video Doorbell強勢來襲,第二代2K雲端無線Wi-Fi攝影機、視訊門鈴閃耀登場!
- COMPUTEX ESG GO! 活動再創新 新增「展覽永續設計獎」打造綠色會展標竿
- 未來有備而來! 安耐美PlatiGemini 電源供應器榮獲2024德國紅點設計獎
- 網石《阿斯達年代記:三強爭霸》今晚正式上市!
最多人點閱
- GIGABYTE GeForce GTX 1070 Xtreme Gaming實測開箱,電競級顯示卡中的頂尖之作!
- Seagate IRONWOLF 10TB機械硬碟實測開箱,氦氣填充那嘶狼守護者NAS HDD
- AMD Radeon RX 480實測開箱,玩家級顯示卡重返榮耀!
- PLEXTOR S2C 512GB實測開箱,超值型固態硬碟中的優質好貨!
- 洋垃圾神器,Xeon E5-2670實測開箱大作戰!
- MSI CORE FROZR L CPU散熱器實測開箱,微星電競產品再添新兵
- MSI GeForce GTX 1060 GAMING X 6G實測開箱,玩家級電競顯示卡中的神兵利器!
- ASUS ROG STRIX-GTX1080-O8G-GAMING開箱實測,旗艦三風扇電競顯示卡中的頂尖之作!
- MSI GeForce GTX 1080 GAMING X 8G實測開箱,史上最強大Pascal自製顯示卡全面來襲!
- 淘寶網洋垃圾再顯神威,1999元買到8核心16執行緒Xeon E5-2670神器級處理器!
- 雅婷3C好康多.玩家收藏.窮人聖物.改裝精品.頂級配備.新奇電腦零組件潮店讓您便宜買好貨!
- MSI GeForce GTX 1050 Ti GAMING X 4G實測開箱,中階電競顯示卡中的玩家精品!