手機拍照已成為我們日常生活中不可或缺的一部分,手機拍照有許多模式可以選擇,比如全景、夜景、人像、微距等,就像專業相機拍攝時,也會有各種參數設置,比如大光圈、閃光燈等。
影像表現已經成為體現智能手機差異化的主要賣點之一,手機拍照效果的好壞,除了看硬件配置,軟件算法也至關重要。
本篇主要介紹下紫光展銳是如何針對手機端的大光圈、人像等模式,進行設計和效果呈現,讓手機拍出的照片擁有主體清晰、背景虛化的層次感、美感。
背景虛化效果圖
要實現主體突出、背景虛化的效果,關鍵在于景深。景深是一個比較專業的詞匯,可能比較難理解,我們以相機拍照過程來解釋一下什么叫景深。相機通常需要先對焦、后拍攝,理論上來講照片只有被準確對焦的部分會清晰,焦點之外的部分就會模糊。不過,由于相機鏡頭、拍攝距離等因素的影響,照片焦點前、后仍然會有一段距離的景物能夠被清晰顯示,不致于落入模糊地帶,這個清晰的范圍便稱為景深。
影響景深的有三個因素:光圈大小、對焦距離以及鏡頭焦距。改變光圈值來調節景深范圍,是業界最便捷、也最常用的方法。一般來說,在焦距和攝距相同的情況下,光圈越小、景深越大,光圈越大、景深越小。
數碼單反相機只需要更換一個大光圈鏡頭,就能輕松得到想要的效果。而對于智能手機來說,所配備的圖像傳感器較小,產生的景深范圍幾乎無限遠,因此智能手機拍出的背景通常與拍攝對象主體一樣清晰。
要想讓手機也能拍出與單反相機效果接近的背景虛化照片,就需要借助計算攝影技術來模擬淺景深和散景的效果。紫光展銳在5G移動平臺T820上,針對前后單攝、多攝等拍照場景,設計開發了多套算法,結合T820的強大算力,可以在不同的拍照場景下都能實現背景虛化效果。
基于AI的雙目深度估計
基于AI雙目深度估計的虛化流程示例圖
相較于傳統計算depth的方法,AI算法可以極大提升depth的準確率,特別是解決人物邊緣的漏虛、誤虛問題,保證虛化有更好的效果。
以雙目深度示例圖1為例,玩偶背后的白色白板區域紋理信息較弱,傳統方法在計算這類區域的深度時很容易出錯,AI算法不會出現類似問題,這保證了平板區域的深度一致性。
從雙目深度示例圖2也可以看到,AI算法可以很好地處理頭頂處的重復紋理區域,比傳統方法計算出來的結果更加準確。
基于AI的單目深度估計
為了適配不同機型的需求,尤其是前置單攝像頭的拍照場景,紫光展銳研發了AI單目深度估計算法。利用一張RGB圖像,就可估算出圖像中每一個像素相對拍攝源的距離。對于人眼來說,閉上一只眼睛依然可以大致估計出大量的深度信息,這是由于存在大量的先驗知識。AI算法通過采集大量的現實場景數據集,以及算法模型在準確性和實時性之間取得了較好的平衡,在單攝虛化拍照和錄像時,都能取得較真實的漸進效果。
獲得了場景的深度信息后,就可以利用深度模擬景深虛化的效果,如單目深度效果圖的右側為無深度信息的虛化效果,人之外的區域均模糊處理;左圖則將和人處于同一深度平面的信息板保持清晰,更加接近單反的拍照效果。
基于AI的人像分割算法
人像分割算法可以將圖片中的人像和背景進行分離,這樣在虛化處理的過程中,可以較好的保持人體區域的完整度,防止被誤虛。
人像分割算法也是需要輸出像素級的結果,為了應對不同的場景、人物、服飾等變化,紫光展銳通過采集大量數據來提高算法的魯棒性,并依托T820 5G平臺的強大AI算力,實現了較為復雜的人像分割算法,優化了多人、手指及發絲等邊緣細節等方面的效果。
如下圖從左到右,分別為原圖、T820平臺模型結果、低算力平臺結果,可以看到在復雜背景中,T820平臺算法依然可以準確分割出人像區域。
有了AI算法的T820 5G芯片,可以拍出背景過渡平滑、虛化自然、極富藝術感染力的照片。
作為世界領先的平臺型芯片設計企業,紫光展銳堅持以技術創新為核心,持續打造業界領先的影像技術,為產業和客戶創造價值,用科技之光照亮幸福生活。
?
End
原文標題:解析紫光展銳T820的AI-Bokeh技術,讓影像插上翅膀
文章出處:【微信公眾號:紫光展銳UNISOC】歡迎添加關注!文章轉載請注明出處。
-
紫光展銳
+關注
關注
15文章
865瀏覽量
40722
原文標題:解析紫光展銳T820的AI-Bokeh技術,讓影像插上翅膀
文章出處:【微信號:gh_2c8fa897d02f,微信公眾號:紫光展銳UNISOC】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論