今年年初三星正式發(fā)布了Galaxy S9，同時(shí)推出和iPhone X的Animoji非常相似的AR Emoji，它們的功能相差不多，都是用人臉的表情制作出一個(gè)動畫表情，由此通過社交軟件分享給朋友和家人，讓聊天變的更有趣。

最近，三星的一份專利公開，顯示出將AR Emoji應(yīng)用到視頻聊天的可能。

專利中表示, 現(xiàn)有的視頻通信系統(tǒng)和服務(wù), 如 Skype 和 Google 網(wǎng)絡(luò), 在運(yùn)行播放器應(yīng)用程序的設(shè)備之間傳輸2D 視頻流。這種視頻通信系統(tǒng)通常將壓縮序列圖像的視頻流傳輸與設(shè)備之間的音頻流配對。大多數(shù)通信系統(tǒng)都是供單個(gè)用戶使用, 需要在包含照相機(jī)和顯示器的計(jì)算機(jī)設(shè)備上運(yùn)行播放機(jī)應(yīng)用程序。

但這樣的視頻通信系統(tǒng)在為用戶提供視頻功能的同時(shí), 也存在一些弊端。例如, 現(xiàn)有的視頻通信系統(tǒng)通常需要較高的帶寬, 并且在將信號傳輸?shù)搅硪粋€(gè)設(shè)備之前需要生成和壓縮整個(gè)圖像序列時(shí), 其固有的高滯后時(shí)間。所以, 對于低滯后時(shí)間和高質(zhì)量的應(yīng)用程序, 現(xiàn)有的視頻通信系統(tǒng)要求通信設(shè)備最好通過 wi-fi、3G 或4G 移動通信技術(shù)進(jìn)行傳輸。

因此, 需要有一個(gè)可視化的通信系統(tǒng), 能夠顯示用戶的實(shí)際肖像, 面部表情和實(shí)時(shí)的運(yùn)動, 同時(shí)減少帶寬。

根據(jù)專利的說明, 發(fā)送3D 網(wǎng)格模型更新數(shù)據(jù)比一般傳輸方式發(fā)送圖像序列需要的帶寬要少得多, 從而允許在帶寬較小的環(huán)境中進(jìn)行流暢的通信，可以解決前述問題。

這項(xiàng)專利主要是兩個(gè)設(shè)備之間視覺通信的方法和系統(tǒng)。包括創(chuàng)建第一個(gè)設(shè)備用戶的3D 網(wǎng)格模型;在二個(gè)設(shè)備之間的可視通信會話期間接收傳感器陣列中的傳感器數(shù)據(jù), 其中圖像數(shù)據(jù)包括第一個(gè)設(shè)備用戶的運(yùn)動方式，第二個(gè)設(shè)備由圖像數(shù)據(jù)確定3D 網(wǎng)格模型的變化，將3D 網(wǎng)格模型更新顯示出來。

具體來說, 在第一個(gè)設(shè)備上, 記錄對3D 網(wǎng)格模型的更改和發(fā)送更新數(shù)據(jù)比獲得新圖像并且將圖像壓縮到圖像序列中的滯后時(shí)間更低。

在第二個(gè)設(shè)備上, 不需要等待整個(gè)圖像的傳輸和解壓縮循環(huán)，可以一次更新3D 網(wǎng)格模型。即使第二個(gè)設(shè)備不支持3D 視頻通信的情況下, 第二個(gè)設(shè)備仍然可以通過對3D 網(wǎng)格模型的分析，顯示出2D的圖像，同時(shí)通過傳統(tǒng)的2D 視頻傳輸方案將圖像傳輸給第一個(gè)設(shè)備。

在專利的一個(gè)案例中, 視頻模式的可能由用戶手動選擇。例如, 系統(tǒng)確認(rèn)第一個(gè)設(shè)備包含3D攝像頭系統(tǒng), 那么據(jù)可以允許用戶在3D視頻模式或2D視頻模式之間選擇。如果混合視覺通信器發(fā)現(xiàn)該設(shè)備僅包括2D 攝像頭系統(tǒng), 則混合視覺通信可能默認(rèn)為2D 視頻模式，系統(tǒng)也可以根據(jù)可用帶寬自動向用戶建議2D 視頻模式或3D 視覺模式, 并在可視化過程中根據(jù)帶寬的變化動態(tài)更改視頻模式。

這個(gè)圖片用于說明創(chuàng)建出的用戶的臉部和頭部的3D 網(wǎng)格模型

三星的專利規(guī)定, 新的視覺通信應(yīng)用將能夠與各種操作系統(tǒng), 如 Android, 黑莓, 窗口和 iOS。

另一個(gè)有趣的點(diǎn)是，除了從攝像頭和深度傳感器接收圖像數(shù)據(jù)外, 它還可能接收與可視化通訊會話上下文相關(guān)的其他傳感器數(shù)據(jù), 比如環(huán)境條件數(shù)據(jù)和用戶的身體數(shù)據(jù)，用戶的身體數(shù)據(jù)包括位置傳感器(加速度計(jì)、陀螺儀等) 和生物識別傳感器（如心率傳感器、電偶皮膚傳感器、瞳孔膨脹傳感器等），將此用于確定用戶位置的移動和情緒狀態(tài)。同時(shí)，3D 模型組件還可以存儲不同的面部表情, 以及不同可選姿勢供用戶選擇。

必須說明，三星在2013年就開始了這方面的研究，2016年就第一次提交這份專利，最開始的時(shí)候，專利只是為了減少對視頻時(shí)帶寬的需求，提出一種用于進(jìn)行視頻聊天的 "3D 網(wǎng)格模型"。這個(gè)3D 模型只會對用戶的面部表情作出反應(yīng), 只有這些表情的變化會被傳送。相對于一般的傳輸方案, 這樣對帶寬的要求更少。

巧合的是, 這個(gè)專利在三星推出AR emoji之后通過，但三星只是有可能會應(yīng)用這個(gè)技術(shù)，到現(xiàn)在為止也并沒有官方在這方面的說明。但至少，這項(xiàng)專利可以說明三星一直都在探索增強(qiáng)現(xiàn)實(shí)模型的應(yīng)用。