“任何一個地方,任何一個設備如果需要眼睛,需要感知這個世界,要理解周圍的人、物、環境,那就跟我們的部門有關系,就是我們部門主要做的事情。”湯振宇解釋到。
湯振宇是英特爾公司感知計算事業部中國區總監,主要負責RealSense在中國的技術,包括VR、AR以及MR(merged reality)、機器人,無人機,智能家居等。英特爾的感知計算就是RealSense,也可以理解是給任何設備加上眼睛,“讓所有習慣黑暗的設備都習慣光明。”
在AR、VR以及MR之間,湯振宇認為現在AR做的,可以簡單理解為將一些數字的圖形,投在掃描后的真實世界;看到真實的輸出的時候,你的虛擬的東西再疊加到上面,讓你可能感覺到一個增強性。
“但我們認為這些沒有解決現在人真正需要的東西。”
人真正需要的是一種融合,你希望真實的虛擬的是融在一起的。“這就是我們RealSense能夠提出來的,或者能夠做的東西。”Project Alloy就是一個all-in-one一體機的設備。你看的時候不知道哪個是真實的哪個虛擬的。
RealSense實感技術的含義是什么?
“你我現在手上,每個人手上的一個手機,或者你的電腦,或者你的手機都有攝象頭,這個攝象是一個2D的攝象頭——一拍完照以后,它就變成一個2D的圖片,其實是把三維的信息丟掉了,變成一個兩維的了。你在圖片是一個平面的,他沒有大小的概念,沒有遠近的概念,沒有長短的概念。但depth camera深度攝像頭,其實就把第三維還原給你了,把深度信息的Z(XYZ三軸),把Z的第三維信息還給你,我可以把三維的世界重新復現。”
所以跟VR有關的Project Alloy,通過實感技術獲得了6 DOF的追蹤能力。“真實的世界跟虛擬的世界是一個一對一的坐標關系。我在真實的世界在走路,在動,在虛擬的世界也會同樣。這就給一個VR最關鍵的技術之一,因為這樣可以把你的真實世界和虛擬世界真正的映射起來。”
通過實感技術,Alloy還可以實現手部操縱的追蹤能力。讓真實的和虛擬的東西完全無縫的融合在一起,分不清真實分不清虛擬——這是英特爾Project Alloy闡述的愿景。
不光是VR/AR設備,實感技術還可以應用在包括PC、平板、手機、機器人、無人機以及三維自動避障方面,實感技術都算是一種基礎必要技術。
在美國市場公布了Project Alloy計劃后,英特爾首次在中國市場對關于Alloy的問題進行了回應。在這之前,英特爾還并沒有在中國市場的公開場合對VR、AR以及MR技術、Alloy頭盔進行公開講解。
Q:英特爾在前段時間有收購一家公司叫Movidius,視覺處理器以后會跟英特爾的感知技術有什么結合?
A:英特爾有意收購Movidius這家公司,從法務上還沒有完全結束,我們是也意向收購他們。如果一切順利的話,他會跟我們部門放在一起,因為從我們CEO的角度,或者從整個英特爾布局的角度有著非常清晰的概念,我們提供了視覺、Sensor、三維攝像頭。Movidius可以幫我們填補計算機視覺特別的處理器功能。它專門為計算機視覺做芯片,所以跟我們是一個非常好的融合。
在一些便捷式設備,移動設備上,Movidius也會跟我們會是一個非常好的匹配。如果并購成功,從低功耗,而且是專業級的計算機視覺方面的芯片上,都對我們整個產業的布局非常好。
Q:Alloy的參考設計方案,現在有沒有一些合作的廠商可以推出真正的消費級終端產品?
A:是有一些廠商在合作。但因為英特爾習慣是等我們的合作方宣布他們的產品,我們才會宣布。我們提供一些技術,這個也包括在IDF的時候,我們的CEO宣布和微軟的合作——微軟的下一代操作系統,在VR的操作系統上的合作。
Q:光線復雜的時候會不會影響攝像頭的工作?英特爾RealSense現在的攝像頭追蹤的技術,在應對光線的精度、手勢交互以及延遲技術方面有沒有解決類似問題,有沒有什么突破?
A:RealSense像人的視覺一樣。他主要是通過視覺的方式來解決這個問題,人的視覺其實一樣的,人已經是上帝創造的最理想的生物。我們的眼睛,適應性能力很大很強的,但突然我打個強光一下肯定就盲掉了,所以視覺一定會有光線的影響,這個是不可避免的。如果說我用視覺方案解決,它一定有一個限制、條件。
我們下一代的產品會比較好的解決這個問題,就是英特爾RealSense 400的攝像頭。它可以在很多光線的情況下解決大部分的問題,但你說能不能找到common case,一個奇怪的配置出來,我覺得一定會有的,因為你要在極限的情況下測,它一定會超過這個極限的。
Q:我們在硅谷了解到Magic Leap,他告訴我們所有中國的在硅谷的VR、AR投資,我們發現美國的這個行業的泡沫要被抽干了。所以為什么英特爾還仍然會這么在VR、AR、MR上付出這么大的精力。Magic Leap到現在做了這么長時間了,他的產品還沒做出來,我們這個產品什么時候能真正的落地?
A:Magic Leap是一家獨立的公司,不是英特爾的子公司也不是我們的公司,所以我們沒有辦法評論他的產品,像你說的,他可能需要點時間推出他的產品,我們也在關注這個問題。
為什么英特爾在這個方向還在做VR,AR,甚至提出MR的概念,因為我們認為是一個趨勢。就像開始個人計算機PC的時代出來,沒有人相信會需要一個PC。當時很多機構報告說這個世界需要PC的人不會超過一百個,一千個。但現在是幾億個,幾百萬個PC在全世界在跑,因為人需要一個計算設備陪著你。后來手機也一樣,我們叫perceived computing,普適計算。你的計算能力應該是無所不在的,就像現在的電影一樣的,我們從來沒有想過電從哪兒來,燈是亮的,屏幕是亮的,都有電。如果以后我們認為所有的地方都有計算能力,包括你的地板等等都會有計算能力,它都會幫你去處理一些事情。
英特爾為什么投資在這兒,因為這是人的常見的一個需求,你用它可以跟這個真實的世界和虛擬的世界更好的融合。可現在關鍵的問題是技術沒到那個地步,比如六自由度的問題都不能被完美解決好。但我們相信通過基礎的技術,或者是根本性技術的突破,會帶來一個巨大的爆發。我們希望在爆發前就布局好。
Q:除了您剛才說到的DOF技術以外,其他像AR、MR它的成像技術是否需要發展?
A:不需要了,其實AR、VR或者MR的設備,其實跟計算機一些,跟機器人一樣,其實它是一個整體的方案,包括VR的屏幕顯示,包括延遲,包括里面的傳感器、交互、動態需要做的一些調節,起來現在每一門都是一個基礎的技術。
Q:Alloy在演示的時候,它的手如果放在下面,上面還會看到那個手,這個對我們的視覺感有影響。我覺得這也是Google他們一直在推手柄的問題,您怎么看這兩種方式的關系?
A:我用另外一個方式來回答。比如現在很多的計算機上都有觸摸屏,可是我們還是會用鼠標、鍵盤。因為在很多情況下,鼠標、鍵盤更靠譜。
其實VR也是一回事,你可能需要手勢的交互,但一些情況下就需要手柄的交互,手勢并不會把手柄全部替代掉。因為手柄提供了幾個東西:一個是跟蹤的范圍更大;另一個是手柄會給你一個物理的反饋。舉一個很簡單的例子,我玩射擊類的游戲,這個手做的再好,打的非常精準,也沒有手柄扣扳機的感覺要好。因為它有物理的觸感,你扣到的觸感有真正打槍扳機的感覺。
Q:六自由度的追蹤目前是最高的,還有上限嗎?
A:因為六自由度其實就是你們做的在三維時間里活動所需要的。
Q:剛才提到融合時候把真實的物理帶到虛擬里,那個時候可能我們看到的一些畫面不是很清晰,包括那個手也會有點模糊,這個日后會不會有更好的發展?
A:第一,它變得更加清晰是一個肯定的方向,包括加速、處理、視覺的提高都會把它變得更加清晰,交互的真實感就會更強。第二,我們正在探索一些新的交互方式,后續我們可能很快會有一些新演示給大家。
Q:除了手勢以外,還會有其他的交互方式嗎?
A:會,在12月份你們會看到新的交互方式出來,但并不是說會突破物理限制——你不會發現一個拿腳的交互。我的意思是,我們會用一種更加自然的交互方式,包括手的交互其實有很多的東西可以做。
如果你們玩過HoloLens就會發現,它只有兩個手勢。所以并不是說一百個手勢、一千個手勢很黑科技,我們要做的是一個真正有用的交互,我們還在探索。
Q:實感計算在英特爾內部,現在它是怎樣的一個地位?這個部門在英特爾的產品線里是一個什么地位?
A:其實是一個很簡單的道理,像我說的,計算機代表著人類,它處理到一定的時候我們需要人類的視覺來感知。但是如果拿到3D處理,就會產生非常多的新數據,包括掃描數據、看到的數據,這些數據全部要存儲、處理,就要需要云端的功能,包括以后更加真實的強真實感,就需要云端的處理。其實這個跟英特爾整個系統是連在一起的。
在應用上,我們會放在無人機、無人駕駛汽車、VR、智能機器人、體育、時尚上等等,我們會延伸到很多的領域,因為它一定會和這個有關系。任何的一個設備,如果它有一定的自主功能,它一定離不開數據。任何一個設備如果自己做一些事情,就一定要這個,它需要理解世界,如果不理解世界就沒有辦法跟世界交互。
Q:您剛才說到一體機是VR發展的最終結果,它跟移動AR比,哪個會更有效更方便?
A:大家現在看到的發展有兩個方向,而且英特爾在這兩個方向上都在發力。一個連線連在PC上利用PC本身的功能,而且現在每一個人都帶有一個電腦;第二,每個人都有手機,我拿一個Cardboard,往上面一插,看一下片子,玩一下游戲。
為什么我個人認為一體機會是以后最終的目標?因為它到一定的時候,比如我手機的處理能力越來越強,功耗越來越小,戴在身上又很輕很方便的時候,肯定是那個是最好的,因為那樣會把從束縛里抽出來。但是現在我認為一體機至少還需要一段時間,因為它包括處理器、各個方面的性能,包括光學、重量、散熱、結構等等,有很多方面的問題需要解決。
Q:您覺得融合現實的主要應用場景有哪些?從目前來看,VR主要的應用在游戲方面,這對于人類真實參與是不是有一個重要的需求?您認為融合現實應該在哪些場景里會更好?
A:其實融合現實這個詞是我翻譯的,當時在IDF上,有人問我這個詞怎么翻譯,后來我就翻譯成融合現實。我提出這樣概念的原因是,第一,VR大家比較清楚,VR就是整合創造一個全虛擬化的環境。AR理論上是增強現實,把現實和虛擬混合起來。其實,AR真正做好的時候,其實它已經代表了一切。但現在有很大的問題,因為它跟真實感差別很大,就是一個純粹的疊加。那個體驗感非常差,所以我們想把那個區分出來。
我們希望做到,但我們現在也還沒有做到視頻中那這樣非常完美的程度。但是我們認為真正融合、讓你感覺虛擬和真實分不開,才是一個最高的境界。比如我坐在會議里和你開會是真實的,放個投影在這里就覺得不是很真實。
評論
查看更多