經過優化后的Pixel 4和Pixel 4 XL易于使用，而實現這一目標的關鍵功能是Motion Sense，它使用戶能夠無需觸摸設備即可通過多種方式與Pixel互動。例如，借助Motion Sense，您可以使用特定的手勢來更改音樂曲目或立即使來電靜音。另外，Motion Sense還可以檢測您何時靠近手機以及何時伸手可及，從而可以通過預測動作來使Pixel提供更多的幫助，例如通過注視相機以提供無縫人臉解鎖體驗時，有意降低鈴聲時的音量以將其消除，或者在不再靠近設備時關閉顯示器以節省電量。

Motion Sense背后的技術是Soli，這是消費類智能手機中的第一個集成的短程雷達傳感器，它可以促進與手機的近距離交互而不接觸。下面，我們討論Soli的核心雷達傳感原理和基于雷達數據中識別人類活動的信號處理和機器學習（ML）算法的設計，以及我們如何解決一些集成挑戰，以準備將Soli用于消費類設備。

設計用于運動感應的Soli雷達系統

雷達的基本功能是基于遠程對象與無線電波的相互作用來檢測和測量其特性。一個經典的雷達系統包括一個發射器，它發射無線電波，然后被其路徑內的物體散射或重定向，其中一部分能量被雷達接收器反射回并攔截。基于接收到的波形，雷達系統可以檢測物體的存在，并估計這些物體的某些屬性，例如距離和大小。

雷達作為探測和測距技術一直在積極發展，并已有近一個世紀的歷史了。傳統的雷達方法設計用于檢測大型，剛性，遠距離的物體，例如飛機和汽車。因此，它們缺乏在消費者手持設備的要求內感測復雜運動的靈敏度和分辨率。因此，為了啟用運動感應，Soli團隊從頭開始開發了一種新的小型雷達系統，集成了新穎的感應范例和算法，使得其可以專門用于對人機交互的細粒度感知。

經典雷達設計依賴于相對于目標尺寸的精細空間分辨率，以便分辨不同的物體并區分其空間結構。這樣的空間分辨率通常需要較寬的傳輸帶寬，較窄的天線波束寬度，以及大型天線陣列。

另一方面，Soli采用基于運動而非空間結構的，截然不同的傳感范例。由于采用了這種新穎的范例，我們能夠在Pixel 4中Soli的5 mm x 6.5 mm x 0.873 mm芯片封裝中安裝其整個天線陣列，從而能將雷達集成到手機的頂部。值得注意的是，例如，與光學成像傳感器相比，我們開發了不需要形成目標空間結構的清晰圖像的算法。因此，不會生成人的身體或面部的可區分圖像，也不會將其用于“運動感應”狀態或手勢檢測。

Soli依靠處理接收信號中的時間變化來檢測和解決細微運動。Soli雷達發送60 GHz 頻率調制信號，并接收附近物體或人的反射疊加。目標位置從一次傳輸到另一次傳輸的亞毫米級位移會引起接收信號中明顯的定時偏移。在多次傳輸的窗口上，這些偏移表現為與物體速度成比例的多普勒頻率。通過解析不同的多普勒頻率，Soli信號處理管道可以區分以不同運動模式運動的物體。

下面的動畫演示了不同的動作如何在處理后的Soli信號中展現出獨特的運動特征。每個圖像的垂直軸表示從傳感器到頂部的距離或徑向距離，從上到下增加。水平軸表示朝向或遠離傳感器的速度，中心為零，左側對應于接近目標的速度為負，右側對應于后退目標的速度為正。雷達接收到的能量被映射到這些范圍速度維度中，并由每個像素的強度表示。因此，與弱反射目標相比，強反射目標相對于周圍的本底噪聲往往更亮。在這些距離-速度映射中，能量的分布和軌跡顯示出一個人行走時有明顯的差異，

在左圖中，當人接近設備時，我們看到來自多個身體部位的反射出現在速度軸的負側，然后當人停止靠近設備時，以零速度會聚在圖像的頂部。在描繪伸手可及的距離的中間圖像中，手從距傳感器20厘米的靜止位置開始，然后以負速向設備加速，最后在到達設備時減速至停止。與手相對應的反射從圖像的中間移動到頂部，這與手在手勢過程中從傳感器到傳感器的遞減范圍相對應。最后，第三張圖片顯示了一只手在設備上滑動，以負速度向速度軸左半邊的傳感器移動。

每個可分辨反射的3D位置也可以通過處理在Soli的三個接收器中的每個接收器處接收到的信號來估算。除了目標識別的范圍和速度之外，還可使用此位置信息。

我們為Soli設計的信號處理流水線（processing pipeline ）包括定制濾波器和相干積分步驟的組合，這些步驟可提高信噪比，衰減和不必要的干擾，并使人的反射與噪聲和雜波區分開。這些信號處理功能使Soli可以在消費者智能手機的限制范圍內以低功率運行。

設計雷達的機器學習算法

在使用Soli的信號處理流水線來過濾和增強原始雷達信號之后，將得到的信號轉換輸入到Soli的ML模型中進行手勢分類。這些模型已經過訓練，可以以低延遲準確地檢測和識別運動感應手勢。

對任何運動傳感技術都常見的空中手勢進行分類，主要存在兩個主要的研究挑戰。首先是每個用戶都是唯一的，并且以多種方式執行甚至簡單的動作，例如滑動。第二，傳感器范圍內可能有許多無關的動作，看起來與目標手勢類似。此外，當手機移動時，從手機中的運動傳感器的角度來看，整個世界似乎都在移動。

為了解決這些挑戰，需要設計定制的ML算法，該算法針對雷達信號的空中手勢的低延遲檢測進行了優化。Soli的ML模型由神經網絡組成，這些神經網絡使用了數千名Google志愿者記錄的數百萬個手勢進行訓練。這些雷達記錄與來自其他Google志愿者的數百小時背景雷達記錄混合在一起，其中包含在設備附近進行的一般動作。Soli的ML模型使用TensorFlow進行了訓練，并進行了優化，可以直接在Pixel的低功耗數字信號處理器（DSP）上運行。這使我們即使在主應用程序處理器掉電的情況下也能以低功耗運行模型。

從概念到產品的Soli

Soli可以集成到Pixel智能手機中，主要是因為它的端到端雷達系統（包括硬件，軟件和算法）經過了精心設計，所以可以在消費類設備的尺寸和功率限制內實現非接觸式交互。Soli的微型硬件允許整個雷達系統安裝在Pixel上邊框的有限空間內，這是團隊的一項重大成就。

實際上，2014年的第一個Soli原型就是臺式機的大小。為了將整個雷達系統縮小到單個5.0 mm x 6.5 mm RFIC，我們將硬件創新與我們先前介紹的新型時間感測范例相結合，包括封裝上的天線。Soli團隊還介紹了幾種創新的硬件電源管理方案，并優化了Soli的計算周期，使Motion Sense能夠適應智能手機的功耗預算。

硬件創新包括將雷達系統從臺式機原型迭代縮小到單個5.0 mm x 6.5 mm RFIC，包括封裝天線。

為了將Soli集成到Pixel中，雷達系統團隊與產品設計工程師緊密合作，以保持Soli信號質量。手機中的芯片放置以及芯片上方材料的Z形堆棧經過優化，可最大程度地提高通過玻璃的信號傳輸，并最大程度地減少來自周圍組件的反射和遮擋。該團隊還發明了定制信號處理技術，以使其與周圍的電話組件共存。例如，開發了一種新穎的濾波器來減少音頻振動對雷達信號的影響，從而可以在播放音樂時檢測手勢。此類算法創新可在多種常見用戶場景中啟用Motion Sense功能。

未來方向

Soli成功集成到Pixel 4和Pixel 4 XL設備中，首次證明了在日常移動消費設備中基于雷達的機器感知的可行性。像素設備中的運動感顯示了Soli的潛力，它可以為顯式和隱式交互帶來無縫的上下文感知和手勢識別。我們很高興繼續研究和開發Soli，以實現新的基于雷達的傳感和感知功能。