Yuval Boger (VRGuy)， Sensics的首席執(zhí)行官分享了他對于HMDs和虛擬現(xiàn)實技術(shù)的經(jīng)驗和觀點。

如果你有感興趣的話題或者你想得到解釋的概念，請評論留言，我們會盡力解決這些問題。你也可以在這兒問我任何問題。

理解預(yù)測跟蹤

在“增強現(xiàn)實”和“虛擬現(xiàn)實”系統(tǒng)的背景下,預(yù)測跟蹤是指預(yù)測未來方向或一個物體的位置或身體部分的過程。例如,人們可能會想預(yù)測的頭的方向或手的位置。

為什么預(yù)測跟蹤有用?

關(guān)于預(yù)測追蹤一個常見的應(yīng)用就是減少明顯的“光子運動”延遲,即運動之間的時間和運動反映在繪制的場景。由于運動之間有延遲和更新顯示（如下所示），使用可預(yù)估的方向和位置作為數(shù)據(jù)應(yīng)用于更新顯示,可以縮短延遲。

雖然許多注意力一直集中在虛擬現(xiàn)實應(yīng)用程序的預(yù)測跟蹤上,它對于增強現(xiàn)實技術(shù)方面也是非常重要的。舉例來說,如果你要顯示一個圖形覆蓋，使其出現(xiàn)在你通過增強現(xiàn)實眼鏡看到的物體的上方,非常重要的一點是保證疊加物在你轉(zhuǎn)頭時位置不變。觀察對象能夠被相機識別,但相機需要一些時間來捕捉幀,處理器需要確定對象在框架中的位置，圖形芯片要呈現(xiàn)新的覆蓋。通過使用預(yù)測跟蹤,你可以更好的記錄覆蓋圖像和物理對象。

它是如何工作的呢?

工作原理

如果你看到一輛車以恒定的速度行駛而且你想預(yù)測汽車將在下一秒鐘駛向何處，你也許可以做出精確的預(yù)測。你知道汽車的當前位置,你可能知道或可以估計當前的速度,因此可以推斷汽車不久之后的位置。

當然,如果你比較你的預(yù)測和汽車實際行駛的情況,你會發(fā)現(xiàn)你每次的預(yù)測都不可能是100%準確的：汽車可能會改變方向或加速。距離越遠，你預(yù)測的結(jié)果越不準確：預(yù)測下一秒鐘汽車的位置比預(yù)測下一分鐘的要準確得多。

關(guān)于汽車及其行駛特點你了解的越多，越有機會做出準確的預(yù)測。例如，如果你不僅知道了其速度，還知道其加速度，你的預(yù)測可能就更準確。

如果你了解更多關(guān)于被追蹤的個體的信息，也可以提高預(yù)測精度。例如，當進行頭部跟蹤時,了解轉(zhuǎn)頭最快的速度和一般狀態(tài)下的速度,可以提升跟蹤模型。同樣,如果你做眼部跟蹤,你可以使用眼球追蹤信息預(yù)測這篇文章中討論到的頭部運動，

延遲的來源

所需的執(zhí)行預(yù)測跟蹤來自實際運動和反應(yīng)運動的圖像之間的延遲。延遲來自多因素,如:

?感應(yīng)延遲。傳感器(如陀螺儀)可能是帶寬受限的，因而無法立即報告方向或位置變化。同樣,基于相機的傳感器可能出現(xiàn)延遲，通常在相機傳感器上的像素接收到跟蹤對象的光線到框架發(fā)送到主機處理器之間這段時間里。

?處理延遲。傳感器通常使用某種類型的傳感器與算法相結(jié)合,執(zhí)行該算法時就會增加延遲。
?數(shù)據(jù)平滑。傳感器數(shù)據(jù)有時是嘈雜的,避免錯誤出現(xiàn),軟件或基于低通算法的硬件會執(zhí)行任務(wù)。
?呈現(xiàn)延遲。在呈現(xiàn)一個非凡的場景時,圖像需要一些時間傳到顯示設(shè)備。
?幀速率延遲。例如，如果播放操作是以100赫茲的頻率,那么連續(xù)幀之間的時間是就是10毫秒。當某個特定像素顯示之后不精確的信息可能需要等待下一個次像素繪制完成再顯示。
?傳輸延遲。例如,如果定位傳感用完USB連接的設(shè)備，數(shù)據(jù)傳到主處理器和USB數(shù)據(jù)傳輸完成之間也有時間。

其中一些延遲是非常小的,但不幸的是各種延遲會疊加起來。預(yù)測跟蹤加上其他技術(shù),如時間扭曲,有利于減少明顯的延遲。

能夠追蹤多久的未來時間?

四個字:視情況而定。你首先需要估計點對點系統(tǒng)延遲,然后再進行優(yōu)化。

也許你需要在任何給定的時間內(nèi)預(yù)測幾個未來的時間點。這里有一些例子可以解釋為什么需要這樣做:

?有的對象有不同的端對端延遲。例如,帶相機的手部跟蹤器和頭部跟蹤可能有不同的延遲,但都需要在同樣的場景中同步,所以預(yù)測跟蹤需要不同的“向前看”的時間。

?在單一屏幕布局時---如手機屏幕---為雙眼提供圖像,通常情況下, 相對于另一只眼睛，映入在一只眼睛只有半幀(例如1/60秒的一半,大約8毫秒)。在這種情況下,最好給延遲的另一半屏幕使用提前8毫秒的預(yù)測跟蹤。

以下是一些常用的預(yù)測跟蹤算法的例子：

?航跡推算。這是一個非常簡單的算法:如果位置和速度(或角位置和角速度)在給定的時間內(nèi)是已知的，預(yù)測位置假設(shè)最終位置和速度是正確的,而且速度是相同的。例如,如果最后已知位置是100個單位,最后一個已知的速度是10單位/秒,因而未來10毫秒(0.01秒)內(nèi)的預(yù)測位置100 + 10 x 0.01 = 0.01。雖然計算很簡單,但它假定的是過去的位置和速度是準確的(例如,忽略各種噪音)且速度是恒定的。而這兩個假設(shè)往往是不正確的。

?卡爾曼預(yù)測器。這是基于廣受歡迎的卡爾曼濾波器設(shè)計的。卡爾曼濾波器是用來減少包含數(shù)學(xué)模型的操作系統(tǒng)中傳感器噪聲的。點擊此處查看更多關(guān)于卡爾曼濾波器的詳細解釋。

?alpha-beta-gamma。ABG預(yù)測器與卡爾曼預(yù)測器密切相關(guān),但并不是很通用且數(shù)學(xué)程式簡單。我們可以從較高層面解釋一下。ABG不斷試圖估計速度和加速度并使用這些數(shù)值進行預(yù)測。由于這些估測將實際數(shù)據(jù)考慮在內(nèi)所以一些測量上的誤差減少了。配置參數(shù)(α,β和γ)增強了反應(yīng)與降噪能力。如果你想了解一下,請看這里:

總結(jié)
預(yù)測跟蹤是一個有效且被廣泛應(yīng)用的減少明顯的延遲的技術(shù)。它提供了簡單的或復(fù)雜的操作,需要一些思考和分析,但確實是值得的。