焦點
Pixel相機解密!Google藉由「機器學習」成為智慧手機鏡頭霸者
文.圖/JC 2019-05-23 12:03:00
Google自從第一支Pixel手機推出後,其相機技術便快速展露頭角,每每推出新機時都會成為當年度智慧手機最強鏡頭,其背後的技術主要來自於Google強大的軟體,這也是近年來智慧手機相機系統的發展趨勢,以軟體定義為主的相機。這次Google特別請來Google傑出工程師(Distinguished Engineer)Marc Levoy來台,他是史丹佛大學電腦科學榮譽退休教授(該職由VMware創辦人所支持),這一次他親自到台灣解說Pixel相機的技術背景。
Google Pixel 3和Pixel 3 XL終於登台,最強智慧手機相機來了!
不過說到底~「什麼是好的智慧手機相機?」相信這才是對大家來說的一大重要疑問,技術面上來說,Google表示相機拍照執行上必須要很迅速,這當中包含許多標準,像是即時觀景器 (Live Viewfinder) 要大於15 幀率 (fps)、快門延遲時間小於150毫秒、照片成像時間小在4秒以內,並且不讓手機因拍照而升溫。
而對一般消費者來說最基本的,就是預設的拍照模式絕對不能失敗。也就是說當你開啟Pixel相機進行拍照時,未進行任何細部設定就直接拍攝時,拍出來的照片必須是你想要的。這過程中須具有可靠的曝光、對焦和白平衡,並且避免鬼影或視覺殘影,這樣的結果當然也不能百分之百說是絕對,但Google保證至少96%的照片是ok的!
另外,Google也重視消費者在攝影時遇到的特殊情況,舉例來說,過去Google的機器學習偵測器可以捕捉九成五以上出現在場景中的人臉,但是卻會忽視有戴墨鏡的人,隨著時間演進和技術的進步,現在這個問題已經解決。另一個例子來說,使用全景模式或是其他特殊拍攝模式時,可能會出現可接受的偶發失敗,但這必須在消費者可以容忍的情況下,因為反而會製造出特殊的笑點。
這些原因和Google對Pixel相機的標準所致下,呈現出來的結果就是當一般消費者或者甚至是專業的攝影師,當他們拿到Pixel手機時,大部分時候只要隨手一拍就可以輕鬆拍出完美的照片,而這對許多人來說,甚至大眾來說,就是一台好的智慧手機相機。
第二個特點是Google Pixel 2引入的肖像模式(Portrait Mode),也就是攝影師口中的「Bokeh」(散景)效果,主要是將焦點集中在主要的人物或物品上,並藉由景深對比的效果,使其從背景中凸顯而出。Google Pixel 2 和Pixel 3 手機在僅有單一個後置鏡頭的條件下,利用機器學習技術分割影像中的人物,這點主要是因為Pixel 2相機以來搭載的Dual Pixels「雙像素」科技,也就是相位對焦技術來預估深度圖(Depth Map),每一個單一像素上的影像可分為兩部分:每個像素的右半部通過左半部鏡頭看世界,每個像素的左半部則通過右半部鏡頭看世界,因此會得到兩種具些微差異的成像,再透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。Google進一步訓練機器學習藉由輸入RGB顏色、左和右,就能得到深度圖,取代在立體空間中搜尋、計算每一個二分之一像素中影像呈現是來自現實世界中的左半部或右半部,所獲得的結果就是可和DSLR專業單眼鏡頭媲美的(淺)景深效果。
再來就是Pixel 3引入的高解析變焦(Super Res Zoom)和夜視模式(Night Sight)效果,Google在Pixel 3 手機相機中推出高解析變焦功能,雖然此功能背後並無搭載人工智慧及機器學習技術,簡單來說就是將人們拿手機拍照片時手造成的自然晃動,將多層影像合成為更高像素的照片,不僅提升照片細節的呈現之外,解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。
夜視模式的效果則是在按下快門後,觀景器將會靜止不動幾秒鐘,高速捕捉最多15 幀畫面,再結合其他Pixel手機相機功能,像是Pixel 3會結合高解析變焦功能、Pixel 1/ Pixel 2 / Pixel 3a / Pixel 3a XL則是結合HDR+功能,最後再透過學習式白平衡 (Learning-based White Balancing) 調整影像色調,讓整體畫面的效果藉由計算攝影的自動調整,仍可保持景物最真實的色調。
接下來小編期待的重點就是即將在10月推出的Pixel 4旗艦機了,看看Pixel相機繼續進化的結果!
更多Pixel新聞
Pixel 3a/3a XL登場!小缺憾的15K Google智慧手機Google Pixel 3和Pixel 3 XL終於登台,最強智慧手機相機來了!
好的相機「隨手一拍」都能有好照片
剛剛說到目前智慧手機的發展趨勢主要是以「軟體定義」的相機為主,在圖像計算上不再單靠具固定功能的硬體,運用計算攝影 (Computational Photography),並導入機器學習 (Machine Learning),運用機器學習技術取代傳統的演算法,且在訓練機器學習的過程中獲得許多訓練用的數據,有助提升執行的準確度。最後Google同時也將這些技術公開,在發展手機相機技術的過程中,不斷公開對外分享技術成果,不僅有助於驅動更快速的創新,也藉此吸引更多博士新秀加入Google AI研究團隊。不過說到底~「什麼是好的智慧手機相機?」相信這才是對大家來說的一大重要疑問,技術面上來說,Google表示相機拍照執行上必須要很迅速,這當中包含許多標準,像是即時觀景器 (Live Viewfinder) 要大於15 幀率 (fps)、快門延遲時間小於150毫秒、照片成像時間小在4秒以內,並且不讓手機因拍照而升溫。
而對一般消費者來說最基本的,就是預設的拍照模式絕對不能失敗。也就是說當你開啟Pixel相機進行拍照時,未進行任何細部設定就直接拍攝時,拍出來的照片必須是你想要的。這過程中須具有可靠的曝光、對焦和白平衡,並且避免鬼影或視覺殘影,這樣的結果當然也不能百分之百說是絕對,但Google保證至少96%的照片是ok的!
另外,Google也重視消費者在攝影時遇到的特殊情況,舉例來說,過去Google的機器學習偵測器可以捕捉九成五以上出現在場景中的人臉,但是卻會忽視有戴墨鏡的人,隨著時間演進和技術的進步,現在這個問題已經解決。另一個例子來說,使用全景模式或是其他特殊拍攝模式時,可能會出現可接受的偶發失敗,但這必須在消費者可以容忍的情況下,因為反而會製造出特殊的笑點。
這些原因和Google對Pixel相機的標準所致下,呈現出來的結果就是當一般消費者或者甚至是專業的攝影師,當他們拿到Pixel手機時,大部分時候只要隨手一拍就可以輕鬆拍出完美的照片,而這對許多人來說,甚至大眾來說,就是一台好的智慧手機相機。
應用多種技術促成超猛相機
隱藏在Pixel相機內部的就是多種技術的組合,這些技術加上Google的機器學習和AI軟體輔助,促成一般人在使用Pxiel拍照時,能夠在不影響拍照過程的體驗下,獲得驚豔的結果。當然這當中有許多技術包含在其中,舉例來說,HDR+就是其中之一,Google Pixel手機相機運用HDR+技術,透過捕捉在相同曝光程度下的連拍影像,並且避免亮處過度曝光,再進行多重校準和合併,利用採用色調映射 (Tonemap)增強陰影,犧牲整體色調和對比度,以保留局部對比度。第一代的Pixel相機就是因為HDR+技術展露頭角的,獲得當年DXO評分第一名(89分)!第二個特點是Google Pixel 2引入的肖像模式(Portrait Mode),也就是攝影師口中的「Bokeh」(散景)效果,主要是將焦點集中在主要的人物或物品上,並藉由景深對比的效果,使其從背景中凸顯而出。Google Pixel 2 和Pixel 3 手機在僅有單一個後置鏡頭的條件下,利用機器學習技術分割影像中的人物,這點主要是因為Pixel 2相機以來搭載的Dual Pixels「雙像素」科技,也就是相位對焦技術來預估深度圖(Depth Map),每一個單一像素上的影像可分為兩部分:每個像素的右半部通過左半部鏡頭看世界,每個像素的左半部則通過右半部鏡頭看世界,因此會得到兩種具些微差異的成像,再透過非常小的基線 (Baseline) (約1mm) 讓影像立體化。Google進一步訓練機器學習藉由輸入RGB顏色、左和右,就能得到深度圖,取代在立體空間中搜尋、計算每一個二分之一像素中影像呈現是來自現實世界中的左半部或右半部,所獲得的結果就是可和DSLR專業單眼鏡頭媲美的(淺)景深效果。
再來就是Pixel 3引入的高解析變焦(Super Res Zoom)和夜視模式(Night Sight)效果,Google在Pixel 3 手機相機中推出高解析變焦功能,雖然此功能背後並無搭載人工智慧及機器學習技術,簡單來說就是將人們拿手機拍照片時手造成的自然晃動,將多層影像合成為更高像素的照片,不僅提升照片細節的呈現之外,解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下。
夜視模式的效果則是在按下快門後,觀景器將會靜止不動幾秒鐘,高速捕捉最多15 幀畫面,再結合其他Pixel手機相機功能,像是Pixel 3會結合高解析變焦功能、Pixel 1/ Pixel 2 / Pixel 3a / Pixel 3a XL則是結合HDR+功能,最後再透過學習式白平衡 (Learning-based White Balancing) 調整影像色調,讓整體畫面的效果藉由計算攝影的自動調整,仍可保持景物最真實的色調。
Pixel讓人人都成為攝影師
Pixel系列手機近年來成為智慧手機計算攝影的代表詞,其產出的照片幾乎都能讓消費者一次拍出想要的結果,不必另外進行後製修圖,早前推出的Pixel 3和Pixel 3 XL雙旗艦機是去年Google的代表作,也再度印證Pixel是智慧手機強者的代名詞,而不久前才推出的Pixel 3a和Pixel 3a XL則是Google進軍中階入門機手機踏出的第一步,所有Pixel 3高階相機都有的技術和特點全部都毫不保留的轉移到3a雙機身上,兩階級之間的差異僅在運算照片效果的速度而已,其餘效果皆不變,卻只要台幣1.5萬上下就能獲得,實在很超值。接下來小編期待的重點就是即將在10月推出的Pixel 4旗艦機了,看看Pixel相機繼續進化的結果!
- 發表您的看法
請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。
請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。
請勿侵犯個人隱私權,將他人資料公開張貼在留言版內。
請勿重複留言(包括跨版重複留言)或發表與各文章主題無關的文章。
請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。
您在留言版發表的內容需自負言論之法律責任,所有言論不代表PCDIY!雜誌立場,違反上述規定之留言,PCDIY!雜誌有權逕行刪除您的留言。
最近新增
- 「LaCie Rugged MINI SSD 2TB」實測開箱,「USB 3.2 Gen 2x2 穩固精悍」20Gbps 外接式固態硬碟專業首選!
- 每日使用比例翻兩倍!大社會調查揭民眾AI應用新趨勢 貼身外腦再升級!旅遊排行程最夯、投資理財攀新高
- 「振華 SUPER FLOWER LEADEX III PLATINUM ATX 3.1 1000W」實測開箱,Cybenetics PLATINUM白金牌認證「PCIe 5.1 單原生 12V-2x6 連接器 」電源供應器 feat. NVIDIA GeForce RTX 5090 顯示卡 絕佳組合!
- 大瓦數抗漲指標首選!!振華電腦推出 LEADEX III Platinum 1000W / 1300W 全模組化電源供應器
- 「Seagate IRONWOLF 8TB」實測開箱,「5,400轉」那嘶狼「節省電力 48% 噪音減少 18% 抗震提升 12%」NAS專用硬碟機首選!
- 【挑戰 1000 萬張-顯示卡-拆解記錄:000-000-002】技嘉 GIGABYTE GEFORCE RTX 5090 GAMING OC 32G:台灣代理商青雲公司貨:台灣製造 Made In Taiwan
- 「威剛 ADATA SC750 2TB External SSD」實測開箱,USB 3.2 Gen2 10Gb/s 免傳輸線「袖珍便攜」高效能外接式固態硬碟!
- 【挑戰 1000 萬張-顯示卡-拆解記錄:000-000-004】華碩 ASUS TUF Gaming GeForce RTX 5090 32GB GDDR7:台灣代理商聯強公司貨:中國製造 Made In China
- 「全漢 FSP M580PRO」實測開箱,「270°全景視野」ZenFAN智慧數位顯示監控「曲面玻璃海景機殼」
- Supermicro與台灣主管機關合作 防止伺服器技術遭非法轉移
- 台灣農產品牌危機:每 2 則農產品廣告、1 則涉嫌詐騙 屏東、台南、南投拉緊報! 詐團砸錢投「對話型」廣告
- 「全漢 FSP MEGA TI MIT 1650W」實測開箱,80 PLUS TITANIUM 鈦金牌認證「 ATX 3.1 雙原生 12V-2x6 連接器 」電源供應器 feat. 超微 AMD Ryzen Threadripper PRO 9995WX 處理器 PBO 超頻 & 輝達 NVIDIA GeForce RTX 5090 顯示卡 & 220V台灣供電 足瓦測試
最多人點閱
- GIGABYTE GeForce GTX 1070 Xtreme Gaming實測開箱,電競級顯示卡中的頂尖之作!
- 「浦科特 PLEXTOR S2C 512GB SSD」實測開箱,超值型固態硬碟中的優質好貨!
- MSI CORE FROZR L CPU散熱器實測開箱,微星電競產品再添新兵
- MSI GeForce GTX 1060 GAMING X 6G實測開箱,玩家級電競顯示卡中的神兵利器!
- MSI GeForce GTX 1080 GAMING X 8G實測開箱,史上最強大Pascal自製顯示卡全面來襲!
- 淘寶網洋垃圾再顯神威,1999元買到8核心16執行緒Xeon E5-2670神器級處理器!
- 捉對廝殺:AMD Ryzen 2200G/2400G VS Intel Core i3-8100/i5-8400
- 「浦科特 PLEXTOR M8PeY 256GB、512GB、1TB」實測開箱,玩家級NVMe型PCIe 3.0 x4 SSD效能實測大作戰!
- 龍爪現形、踩滅廢熱,MSI AMD Radeon RX 6600 XT GAMING X 8G開箱解密
- 「Herman Miller Aeron」頂級辦公椅實測開箱,「Marvel電影 美劇 鋼鐵人 美國隊長 御用座椅」承重136KG/159KG 玩家級人體工學電腦椅中的頂尖之作!
- 「十銓 T-FORCE CARDEA SSD 1TB」散熱片版實測開箱,「7,000MB/s俱樂部」PCIe 4.0 x4高效能固態硬碟!
- 「浦科特 PLEXTOR M7V 256GB SSD」實測開箱,玩家級固態硬碟中的物超所值之選!
