今天我們將把視線延伸至XR。

XR的出現(xiàn)為新一輪人機(jī)交互帶來了豐富內(nèi)涵，虛實(shí)相間的沉浸式體驗(yàn)一直是產(chǎn)業(yè)共同努力的方向。那么“沉浸式”究竟指什么？我們離沉浸式的XR還有多遠(yuǎn)？本期為你解答。

自計(jì)算機(jī)技術(shù)出現(xiàn)之后，人與硬件開始建立起交互的關(guān)系。站在人機(jī)交互的視角回看硬件發(fā)展的歷史，過去的50年，硬件的形態(tài)大致經(jīng)歷了從游戲主機(jī)到個(gè)人電腦，再到智能手機(jī)的過程，分別對應(yīng)的是垂直計(jì)算硬件、通用計(jì)算硬件，進(jìn)而趨向小型化硬件的發(fā)展路徑。XR的出現(xiàn)為新一輪人機(jī)交互帶來了豐富內(nèi)涵。

由XR技術(shù)和設(shè)備持續(xù)迭代所產(chǎn)生的內(nèi)容-硬件-生態(tài)正向循環(huán)鏈，將我們帶到了元宇宙的入口處。對 XR 產(chǎn)業(yè)來說，支撐其發(fā)展的三大核心底層技術(shù)包括視覺和智能計(jì)算技術(shù)、大屏顯示技術(shù)和高速連接技術(shù)。

紫光展銳長期投入IP 集成能力、音視頻多媒體 IP 等核心技術(shù)，在5G/Wi-Fi 等通訊基礎(chǔ)、沉浸式大屏顯示所需的高動(dòng)態(tài)（HDR）、廣色域（WCG）、高幀率（HFR）等方面擁有持續(xù)創(chuàng)新的先進(jìn)技術(shù)。除產(chǎn)品研發(fā)外，紫光展銳深度參與了XR行業(yè)標(biāo)準(zhǔn)，并積極與生態(tài)合作伙伴為XR技術(shù)研究和產(chǎn)業(yè)推進(jìn)作貢獻(xiàn)。

隨著產(chǎn)業(yè)生態(tài)各方融合創(chuàng)新的加速，XR及其涵蓋的關(guān)鍵技術(shù)能力逐漸融入消費(fèi)級日常生活的方方面面。在市場蓬勃發(fā)展中，隨時(shí)隨地感知、傳遞信息，體驗(yàn)虛實(shí)之間的多元世界離我們將不再遙遠(yuǎn)。

XR是什么？

擴(kuò)展現(xiàn)實(shí)技術(shù)（eXtended Reality，XR）包括了虛擬現(xiàn)實(shí)（Virtual Reality，VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）、混合現(xiàn)實(shí)（Mixed Reality，MR）等多種形式。它將計(jì)算和AI技術(shù)、音視頻處理技術(shù)、仿真技術(shù)、通信技術(shù)等集于一體，通過模擬真實(shí)世界構(gòu)建虛擬環(huán)境或創(chuàng)造全新的虛擬空間，帶來三維的沉浸感和多感官的虛擬交互體驗(yàn)。

圍繞視覺沉浸感、物理沉浸感、認(rèn)知沉浸感三方面，XR匯集了不同的數(shù)字技術(shù)，打造多維化的沉浸體驗(yàn)。具體來說，視覺沉浸感依托于超高清顯示技術(shù)、超高軟硬件算力、高數(shù)據(jù)傳輸技術(shù)等支撐性技術(shù)，物理沉浸感旨在打破物理與數(shù)字空間的界限，包括多模態(tài)交互、空間計(jì)算、三維重建、定位與地圖構(gòu)建等核心技術(shù)，認(rèn)知沉浸感進(jìn)一步拓展了XR對現(xiàn)實(shí)場景的語義與幾何理解，指向更多包括：腦機(jī)接口、裸眼3D、光場等未來發(fā)展前景廣闊的技術(shù)。

XR關(guān)鍵技術(shù)有哪些？

視覺質(zhì)量是XR提供極致體驗(yàn)的關(guān)鍵。人體所接收的80%的信息都來自于視覺感知，接近人眼的視覺體驗(yàn)需要超高像素密度和合適的視場角FOV。其中像素密度取決于衡量圖像精細(xì)程度的圖像分辨率和顯示分辨率，高分辨率可以改善“紗窗效應(yīng)”1，使得清晰度達(dá)到與真實(shí)世界無限接近的程度。視場角的大小影響到XR的沉浸感和清晰度，一般來說視場角越大，圖像需要渲染更多畫面，視覺沉浸感也就越強(qiáng)，相應(yīng)也需要更高算力的支持。

人眼視場角范圍定義

多模態(tài)感知交互融合了面部追蹤、眼球追蹤、語音識別、手勢交互、觸覺模擬等多類技術(shù)，使人們能夠以最適合自己當(dāng)前場景與業(yè)務(wù)流程的方式進(jìn)行接入和交互。

以語音識別為例，不同場景下對設(shè)備語音識別和處理能力的要求不同。家居場景中，噪聲類型多、聲源位置復(fù)雜，拾音距離遠(yuǎn)、信噪比差是提升用戶體驗(yàn)優(yōu)先考慮的問題；在游戲場景中，要強(qiáng)化音頻感知能力，結(jié)合AI降噪、AI增強(qiáng)等技術(shù)，增添臨場感……

從沉浸式體驗(yàn)出發(fā)，紫光展銳推出了支持從清晰語音、高效視頻編解碼到超高清智能顯示，覆蓋智能終端領(lǐng)域全場景的音視頻系統(tǒng)方案，進(jìn)一步推動(dòng)XR產(chǎn)品與應(yīng)用落地，實(shí)現(xiàn)從移動(dòng)到沉浸式的體驗(yàn)升級。

如首款搭載NPU的智能顯示芯片平臺M6780中，集成了完整端側(cè)智能語音方案，通過紫光展銳自研的多麥克風(fēng)陣列音頻捕捉算法、智能語音喚醒、端側(cè)命令詞識別等技術(shù)，讓芯片可以聽得清、聽得懂、能執(zhí)行。

5G催生XR豐富體驗(yàn)

XR業(yè)務(wù)的流量特性，如非整數(shù)周期性、抖動(dòng)、高速率、嚴(yán)格的包時(shí)延需求等，對通信系統(tǒng)的節(jié)能、容量等帶來了巨大挑戰(zhàn)。受手持設(shè)備、可穿戴設(shè)備的電池容量影響，終端的能耗優(yōu)化也尤其需要考慮。在保障XR服務(wù)質(zhì)量的前提下，實(shí)現(xiàn)節(jié)能和容量等方面的優(yōu)化，將推動(dòng)擴(kuò)展現(xiàn)實(shí)應(yīng)用更快落地。

5G技術(shù)支持高速率、低時(shí)延和高可靠性，同時(shí)基于XR流量特性也引入節(jié)能和容量優(yōu)化機(jī)制，不僅滿足了XR業(yè)務(wù)的通信需求，更拓展了用戶使用場景，為用戶提供了更靈活的使用方式。結(jié)合AI、云計(jì)算等技術(shù)，沉浸式內(nèi)容傳輸?shù)男屎唾|(zhì)量大大提升，用戶不再是信息被動(dòng)接受者，而可以通過實(shí)時(shí)互動(dòng)“主動(dòng)”選擇和創(chuàng)造新的體驗(yàn)。

從2018年開始，3GPP將XR作為5G標(biāo)準(zhǔn)中的重要內(nèi)容，標(biāo)準(zhǔn)涵蓋了XR概念、關(guān)鍵技術(shù)、設(shè)備類型和性能指標(biāo)等全面梳理。面向5G-A和6G，除了XR基礎(chǔ)業(yè)務(wù)場景的滿足，元宇宙其他更多場景的需求會(huì)變成重點(diǎn)，在感知+計(jì)算+網(wǎng)絡(luò)融合發(fā)展大趨勢下，實(shí)現(xiàn)最終“智能無所不及”的愿景。

3GPP TR26.928? 不同類型擴(kuò)展現(xiàn)實(shí)技術(shù)及其應(yīng)用

今天，我們已經(jīng)可以在文娛展覽、工業(yè)制造、社交聊天、醫(yī)療手術(shù)等場景下感受到智能化的沉浸交互體驗(yàn)。從長期行業(yè)發(fā)展看，目前的XR還需克服交互流暢性、響應(yīng)速度、認(rèn)知沉浸、內(nèi)容生產(chǎn)等方面的諸多挑戰(zhàn)。但不可否認(rèn)，借助技術(shù)融合性和普及廣度，XR技術(shù)的探索也會(huì)伴隨內(nèi)容生態(tài)的擴(kuò)容，滲透進(jìn)更多元的場景，不斷為行業(yè)拓寬新的視野和商業(yè)市場空間。

備注：

“紗窗效應(yīng)”是指由于顯示器分辨率的原因，人眼會(huì)直接看到顯示屏的像素點(diǎn)，就好像隔著紗窗看東西一樣。