1

基于SLAM的空間及3D結構語

在 AR 的核心技術圖譜上，3D 空間感知和3D 對象的空間結構的感知一直占據了非常重要的地位和位置，傳統基于激光的方法和基于光學的 SLAM 方法比較偏重于單純空間結構的感知和分割，對于內容的語義和上下文場景的感知，還處于比較初級的階段。

由于缺少語義信息，它們不能直接用于構建更高級的人物交互（HTI）通道。

同時，深度學習已極大地提高了識別性能，但是這種識別大部分限于圖像平面中的輸出，或者在最佳情況下使用 3D 邊界框完成一定意義上的語義空間結構表示，但這會使機器人或者準確數字信息疊加很難根據這些略顯粗糙的輸出進行操作。

將學到的知識和語義與 3D 重建相集成是解決這個問題的有希望的途徑。

例如，近年來提出的語義 3D 重建技術共同優(yōu)化了場景的 3D 結構和語義，并且語義 SLAM 方法向所估計的 3D 結構添加了語義注釋。

目前最新的語義 3D 重構和語義 SLAM 的挑戰(zhàn)在于使用大型綜合數據集所探尋的 3D 重建技術與識別和學習相結合的新方法，進而實現在 3D 重建技術中使用語義信息來改善密集匹配過程，并更有效的實現語義分割和 3D 技術之間的反饋環(huán)。

這也必將為構建更高級的人物交互（HTI）通道和泛化 AR 云服務場景開辟無比寬闊的發(fā)展之路。

2

基于空間地圖的POI注冊和同步

和傳統 AR 云服務相比，基于地理位置感知和興趣點標注技術自 2018 年已經成為各個巨頭推廣和布局的重頭，除了谷歌基于 GoogleMap 的 Live View，以及微軟作為 Microsoft 擴展推出的云 AR 平臺，稱為 SpatialAnchor（空間錨點）。

基于空間地圖的 POI 注冊和同步技術的核心是地理位置強化的錨點技術（Anchor),——“空間錨點代表著系統應隨時間推移跟蹤的一個重要點”。

同時也是相關數據構建、同步、檢索、管理等綜合系統技術的突破，這也包含了相關 SLAM 語義感知以及基于神經網絡的大規(guī)模特征比對技術的進步。

起初錨點只是讓虛擬物體在 AR 場景中看起來待在原地不動，起源自依賴于在現實世界的記錄中檢測到的關鍵點及其描述符。

隨著強大的環(huán)境理解功能的演進，同時輔助 3D 高精度地圖功能，空間計算功能，基于空間地圖的 POI 注冊和同步技術，就為數字孿生，以及實現真實世界和物理世界的無縫集成提供了可能。

3

基于空間位置的數字信息簇管理和搜索技術

如何基于將視覺感知轉化為高精度 LBS（Location Based Service）的可視化信息的管理錨點和檢索錨點是發(fā)展 AR 作為人物交互核心手段和發(fā)展相關業(yè)務的重要因素。

這需要將相關數字信息歸類和管理為：

1- 在哪兒？
2- 是誰的一部分？
3- 能開展什么功能，并上傳什么數據？

加州理工伯克利（Berkeley）分校電氣和計算機學院 David E. Culler 教授在智能建筑的基于位置關聯數據管理的嘗試， “Brick”, 就非常具有借鑒意義。

“Brick”源于資源描述框架（RDF: Resource Description Framework)。

其通過以一組被稱作三元組的主題預測對象表示知識。

所有基于位置的關聯系統信息在“Brick”中通過三元組中主體實體與另一些實體對象關系的抽象表示，即圖中的定向邊緣，予以表征。

最終整個數據體系的管理體現為，由關系（定向邊緣）相連的實體（節(jié)點）的知識圖表，并通過 RDF格式存儲和使用，以及后續(xù)可通過使用 SPARQL 數學來遍歷和查詢這些知識。

基于以上知識體系，所有關聯信息包含了：

◆物理世界目標的分類標簽；
◆地理位置；
◆關聯關系和關聯目標；
◆隸屬和組成關系機器對應對象；
◆提供什么檢測數據或可開展何種控制動作。

責任編輯：lq